特表2023-502239広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-23
(54)【発明の名称】広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法
(51)【国際特許分類】
G06T 7/593 20170101AFI20230116BHJP
G06T 3/00 20060101ALI20230116BHJP
G03B 15/00 20210101ALI20230116BHJP
G03B 19/07 20210101ALI20230116BHJP
G03B 35/00 20210101ALI20230116BHJP
【ＦＩ】
G06T7/593
G06T3/00 710
G03B15/00 W
G03B19/07
G03B35/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022528968
(86)(22)【出願日】2021-07-29
(85)【翻訳文提出日】2022-05-17
(86)【国際出願番号】 KR2021009844
(87)【国際公開番号】W WO2022039404
(87)【国際公開日】2022-02-24
(31)【優先権主張番号】10-2020-0104281
(32)【優先日】2020-08-20
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0023552
(32)【優先日】2021-02-22
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0023553
(32)【優先日】2021-02-22
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0097826
(32)【優先日】2021-07-26
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】522194821
【氏名又は名称】アルゴスビジョン インコーポレイテッド
【氏名又は名称原語表記】ＡＲＧＯＳＶＩＳＩＯＮ ＩＮＣ．
(74)【代理人】
【識別番号】110000408
【氏名又は名称】弁理士法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】パク，キ－ヨン
(72)【発明者】
【氏名】キム，ドンソク
【テーマコード（参考）】
2H054
2H059
5B057
5L096
【Ｆターム（参考）】
2H054BB05
2H054BB07
2H059AA09
2H059AA18
5B057AA05
5B057CA08
5B057CA13
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD17
5B057DA16
5B057DB03
5B057DB09
5L096AA09
5L096BA05
5L096CA05
5L096DA01
5L096EA28
5L096FA26
5L096FA66
5L096HA02
(57)【要約】
広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法を提供する。本発明の一実施形態に係るステレオカメラ装置は、垂直方向に配置された第１レンズと第２レンズによって撮影される被写体の第１画像と第２画像を受信する受信部、前記受信した第１画像と第２画像を地図投影法で変換する変換部、および前記地図投影法で変換された第１画像と第２画像を縦方向にステレオマッチングを実行することにより、前記被写体の深度を抽出する処理部を含む。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
垂直方向に配置された第１レンズと第２レンズによって撮影される被写体の第１画像と第２画像を受信する受信部、前記受信した第１画像と第２画像を地図投影法で変換する変換部、および
前記地図投影法で変換された第１画像と第２画像を縦方向にステレオマッチングを実行することにより、前記被写体の深度を抽出する処理部
を含む、ステレオカメラ装置。
【請求項2】
前記変換部は、前記第１画像と第２画像を正距円筒図法（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ）で変換することを特徴とする、請求項１に記載のステレオカメラ装置。
【請求項3】
前記変換部は、球面座標系を利用してエピポーラ線（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）を球面の経度線と一致させる回転変換を実行することを特徴とする、請求項２に記載のステレオカメラ装置。
【請求項4】
前記処理部は、前記地図投影法で変換された第１画像と第２画像を経度線に対応する垂直線に沿って検索することにより、ステレオマッチングを実行することを特徴とする、請求項３に記載のステレオカメラ装置。
【請求項5】
前記第１レンズと前記第２レンズは、魚眼レンズを含むことを特徴とする、請求項１に記載のステレオカメラ装置。
【請求項6】
前記第１レンズと前記第２レンズは、水平視野角が１８０度以上の魚眼レンズであることを特徴とする、請求項５に記載のステレオカメラ装置。
【請求項7】
前記処理部は、前記抽出された被写体の深度を利用して水平１８０度以上の広視野角を有する前記被写体に対する画像を取得することを特徴とする、請求項１に記載のステレオカメラ装置。
【請求項8】
前記受信部は、前記第１画像を撮影するためのイメージセンサと前記第２画像を撮影するためのイメージセンサを含み、
前記第１画像と前記第２画像を撮影するためのイメージセンサは、
横の長さが縦の長さよりも長い長方形の場合、垂直視野角よりも広い水平視野角を得るようにそれぞれ横方向に配置されることを特徴とする、請求項１に記載のステレオカメラ装置。
【請求項9】
前記ステレオカメラ装置から抽出される前記被写体の深度マップを利用して前記ユーザの動作と前記ユーザの周辺に位置する事物と地形を含む周辺環境を認識し、前記認識されたユーザの動作と周辺環境を前記ユーザに提供するビジョン処理部をさらに含む、請求項１に記載のステレオカメラ装置。
【請求項10】
前記ステレオカメラ装置から抽出される前記被写体の深度マップを利用して前記人物および前記人物との距離を認識し、前記認識された人物および前記人物との距離を利用して前記人物を一定の距離で追従するように制御する制御部をさらに含む、請求項１に記載のステレオカメラ装置。
【請求項11】
前記制御部は、前記被写体の深度マップを利用して前記人物の移動方向と前記人物の周辺に位置する事物と地形を含む周辺環境を認識し、前記人物の移動方向と前記周辺環境に基づいて衝突の可能性を感知し、衝突感知可能性を反映して前記人物を追従するように制御することを特徴とする、請求項１０に記載のステレオカメラ装置。
【請求項12】
ステレオカメラ装置の深度画像処理方法であって、垂直方向に配置された第１レンズと第２レンズによって撮影される被写体の第１画像と第２画像を受信する段階、
前記受信した第１画像と第２画像を地図投影法で変換する段階、および
前記地図投影法で変換された第１画像と第２画像を縦方向にステレオマッチングを実行することにより、前記被写体の深度を抽出する段階
を含む、深度画像処理方法。
【請求項13】
前記抽出された被写体の深度マップを利用して前記ユーザの動作と前記ユーザの周辺に位置する事物と地形を含む周辺環境を認識し、前記認識されたユーザの動作と周辺環境を前記ユーザに提供する段階をさらに含む、請求項１２に記載の深度画像処理方法。
【請求項14】
前記抽出された被写体の深度マップを利用して前記人物および前記人物との距離を認識し、前記認識された人物および前記人物との距離を利用して前記人物を一定の距離で追従するように制御する段階をさらに含む、請求項１２に記載の深度画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法に関し、より詳細には、２つのレンズ、例えば、魚眼レンズを垂直方向に配置させて水平視野角と垂直視野角を向上させることによって広視野角を有するステレオカメラ装置およびこれを利用した深度画像処理方法に関する。
【背景技術】
【0002】
ヒューマンコンピュータインタフェース（Ｈｕｍａｎ－Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）の実現のために、カラー画像と３Ｄ情報である深度マップをともに出力するＲＧＢ－Ｄカメラに対する研究が多くなされている。マイクロソフト社が自社のゲームのために普及したＲＧＢ－ＤカメラであるＫｉｎｅｃｔセンサは、複数人のジェスチャ認識機能を提供することから、本来の目的であったゲームだけではなく、多様なヒューマンコンピュータインタフェースのための目的として使用された。その後、多様なＲＧＢ－Ｄカメラ製品が発売されるようになり、３Ｄコンテンツの製作、自律走行、ロボットなどにその活用範囲が広がっている。
【0003】
ＲＧＢ－Ｄカメラは、深度情報を取得する方式に応じてステレオカメラとＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラに区分される。一般的なステレオカメラは、基準線（Ｂａｓｅ ｌｉｎｅ）だけ離れて設置された２台のカメラで構成され、各カメラの視点不一致を利用して深度情報を取得する。深度情報を得るためには両方のカメラの画像を比較するステレオマッチング過程を経なければならず、ステレオマッチング過程の速度と正確度を高めるためにパターン光や構造光が使用されたりもする。ＴＯＦカメラは、被写体に向かってレーザなどを照射した後、光が被写体で反射して戻ってくる時間に基づいて距離を計算して２Ｄ画像とともに深度情報を提供するカメラである。ＴＯＦカメラは、一般的にステレオ方式よりも精密な距離情報を提供するが、相対的に低い空間分析能（Ｓｐａｔｉａｌ Ｒｅｓｏｌｕｔｉｏｎ）を提供し、測定距離と使用環境にも制約がある。
【0004】
一般的なカメラは、直線投影（Ｒｅｃｔｉｌｉｎｅａｒ Ｐｒｏｊｅｃｔｉｏｎ）のために設計されたレンズを使用する。直線投影では、実世界の直線が画像でも直線で現れるため、人間が認知したものと同じような画像を得ることはできるが、カメラの視野角が広くなるほど画像周辺にある物体が中央部の物体よりも相対的に大きく表現されるという問題がある。通常、水平１２０度程度の視野角までは直線投影レンズを利用し、それ以上の視野角が必要な場合には魚眼レンズ（Ｆｉｓｈｅｙｅ Ｌｅｎｓ）を使用する。魚眼レンズは、実世界を歪曲収差（Ｂａｒｒｅｌ Ｄｉｓｔｏｒｔｉｏｎ）があるように画像に投影し、１８０度以上の視野角も画像に収めることができる。
【0005】
ＲＧＢ－Ｄカメラの使用環境がロボット、ドローン、自律走行車のような移動体にまで拡張し、これにより広い視野角に対する要求が高まっている。しかし、大部分のＲＧＢ－Ｄカメラは直線投影レンズを利用するため、水平１２０度以上の視野角を提供するのに困難があった。一部のステレオカメラは、魚眼レンズを使用してより広い視野角を提供したりもするが、直線投影画像のような１Ｄ探索による効率的なステレオマッチングは魚眼レンズ画像では難しいという短所がある。また、魚眼レンズを使用したとしても、ステレオカメラの基準線（Ｂａｓｅ ｌｉｎｅ）と同じ方向から距離情報を得ることができないため、水平画角は１８０度以内に制限される。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の実施形態は、２つのレンズ、例えば、魚眼レンズを垂直方向に配置させて水平視野角をレンズの最大水平視野角まで向上させ、垂直視野角を最大１８０度まで高めた広視野角を有するステレオカメラ装置およびこれを利用した深度画像処理方法を提供する。
【0007】
また、本発明の実施形態は、説明したステレオカメラ装置を利用して、１ｍ以内の接近距離にいるユーザの全身の動作を認識することができる広視野角のステレオカメラ基盤のヒューマンマシンインタフェース（Ｈｕｍａｎ－Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）システムおよびこれを利用した深度画像処理方法を提供する。
【0008】
また、本発明の実施形態は、説明したステレオカメラ装置を利用して、ユーザの動作やユーザの周辺環境を認識することができる広視野角のステレオカメラ基盤の１人称ビジョンシステムおよびこれを利用した深度画像処理方法を提供する。
【0009】
さらに、本発明の実施形態は、説明したステレオカメラ装置を利用して、近距離の人物を認識して追従することができる広視野角のステレオカメラ基盤の人物追従システムおよびその方法を提供する。
【課題を解決するための手段】
【0010】
本発明の一実施形態に係るステレオカメラ装置は、垂直方向に配置された第１レンズと第２レンズによって撮影された被写体の第１画像と第２画像を受信する受信部、前記受信した第１画像と第２画像を地図投影法で変換する変換部、および前記地図投影法で変換された第１画像と第２画像を縦方向にステレオマッチングを実行することにより、前記被写体の深度を抽出する処理部を含む。
【0011】
前記変換部は、前記第１画像と第２画像を正距円筒図法（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ）で変換してよい。
【0012】
前記変換部は、球面座標系を利用してエピポーラ線（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）を球面の経度線と一致させる回転変換を実行してよい。
【0013】
前記処理部は、前記地図投影法で変換された第１画像と第２画像を経度線に対応する垂直線に沿って検索することにより、ステレオマッチングを実行してよい。
【0014】
前記第１レンズと前記第２レンズは、魚眼レンズを含んでよい。
【0015】
前記第１レンズと前記第２レンズは、水平視野角が１８０度以上の魚眼レンズであってよい。
【0016】
前記処理部は、前記抽出された被写体の深度を利用して、水平１８０度以上の広視野角を有する前記被写体に対する深度画像を取得してよい。
【0017】
前記受信部は、前記第１画像を撮影するためのイメージセンサと前記第２画像を撮影するためのイメージセンサを含み、前記第１画像と前記第２画像を撮影するためのイメージセンサの横の長さが縦の長さよりも長い長方形である場合、垂直視野角よりも広い水平視野角が得られるようにそれぞれ横方向に配置されてよい。
【0018】
前記ステレオカメラ装置は、前記ステレオカメラ装置から抽出される前記被写体の深度マップを利用して前記ユーザの動作と前記ユーザの周辺に位置する事物と地形を含む周辺環境を認識し、前記認識されたユーザの動作と周辺環境を前記ユーザに提供するビジョン処理部をさらに含んでよい。
【0019】
前記ステレオカメラ装置は、前記ステレオカメラ装置から抽出される前記被写体の深度マップを利用して前記人物および前記人物との距離を認識し、前記認識された人物および前記人物との距離を利用して前記人物を一定の距離で追従するように制御する制御部をさらに含んでよい。
【0020】
前記制御部は、前記被写体の深度マップを利用して前記人物の移動方向と前記人物の周辺に位置する事物と地形を含む周辺環境を認識し、前記人物の移動方向と前記周辺環境に基づいて衝突の可能性を感知し、衝突感知の可能性を反映して前記人物を追従するように制御することを特徴としてよい。
【0021】
本発明の一実施形態に係る深度画像処理方法は、ステレオカメラ装置の深度画像処理方法であって、垂直方向に配置された第１レンズと第２レンズによって撮影される被写体の第１画像と第２画像を受信する段階、前記受信した第１画像と第２画像を地図投影法で変換する段階、および前記地図投影法で変換された第１画像と第２画像を縦方向にステレオマッチングを実行することにより、前記被写体の深度を抽出する段階を含む。
【0022】
前記深度画像処理方法は、前記抽出された被写体の深度マップを利用して前記ユーザの動作と前記ユーザの周辺に位置する事物と地形を含む周辺環境を認識し、前記認識されたユーザの動作と周辺環境を前記ユーザに提供する段階をさらに含んでよい。
【0023】
前記深度画像処理方法は、前記抽出された被写体の深度マップを利用して前記人物および前記人物との距離を認識し、前記認識された人物および前記人物との距離を利用して前記人物を一定の距離で追従するように制御する段階をさらに含んでよい。
【発明の効果】
【0024】
本発明の実施形態によると、２つのレンズ、例えば、魚眼レンズを垂直方向に配置させて水平視野角と垂直視野角を向上させることにより、広視野角を有することができる。
【0025】
本発明の実施形態によると、水平視野角と垂直視野角を向上させて広視野角を有することにより、人間の視野よりも広いＲＧＢ－Ｄ（ｄｅｐｔｈ）カメラを実現し、正距円筒図法で変換された広視野角画像を使用して客体を容易に検出することができる。
【0026】
魚眼レンズ画像の場合、画像周辺部で直立する被写体が傾いたり歪曲したりするように現れるが、正距円筒図法で変換された画像では直立する被写体が直立した状態で表現され、客体を極めて容易に検出することができる。
【0027】
本発明は、人間よりも広い視野角を提供することから、ＲＧＢ－Ｄカメラをロボット、車両、ドローンのような移動体に装着して使用することができるし、１ｍ以内に接近した人物の全身検出が可能であることから、人間追従ロボット（Ｈｕｍａｎ Ｆｏｌｌｏｗｉｎｇ Ｒｏｂｏｔ）に付着する場合、追従対象が接近していても全身を検出することができ、追従対象が左右に移動方向を変えた場合でも視野から外れないため安定的に追従することが可能となる。したがって、本発明は、ヒューマンコンピュータインタフェースではもちろん、人間とロボットの相互作用と各種移動体で活用することができる。
【0028】
また、本発明の実施形態によると、広視野角のステレオカメラ装置を利用して、ユーザの動作やユーザの周辺環境を認識することができる。
【0029】
これにより、本発明の実施形態によると、広視野角のステレオカメラ装置をユーザの頭や胴体などの身体部位に付けてユーザの前面方向だけを撮影しても、広視野角を有することから、ユーザの手や腕の動作はもちろん、ユーザの姿勢や行動などを把握することができ、広視野角のステレオカメラ装置を利用して深度マップを抽出することにより、ステレオカメラ装置によって撮影される周辺環境、例えば、衝突、底が平らであるか傾いているかなどの地形把握を感知して認識することができる。
【0030】
このような本発明がＶＲやＨＭＤなどの装置に適用される場合、認識されたユーザの動作と周辺環境などの情報が仮想現実で実現されるように提供することができる。
【0031】
また、本発明の実施形態によると、広視野角のステレオカメラ装置を利用して、近距離の人物を認識して追従することができる。
【0032】
したがって、本発明の実施形態によると、移動ロボットのような人間追従システムが近距離、例えば、１ｍ以内の人物を認識して追従することにより、移動ロボットを運用するための専門人力が必要なくなり、人力消耗を減らすことができる。すなわち、本発明は、近距離の人物の全身をすべて撮影することができるため、撮影された人物を検出して追従する多様なアルゴリズムを適用することができる。
【0033】
本発明の実施形態によると、１ｍ以内の近距離人物の認識はもちろん、正確な位置も把握することができるため、縦方向だけでなく横方向に迅速に移動する人物を単独で追従することができる。
【0034】
本発明の実施形態によると、ステレオカメラ装置によって抽出される被写体の深度マップを利用して人物と人物の周辺に位置する事物と地形を含む周辺環境を認識することにより、周辺環境に基づいて衝突の可能性を感知することができ、衝突が発生すると判断される場合には、衝突の可能性を反映して人間追従システムを制御することで、移動ロボットの破損の可能性を減らすことができる。
【0035】
このような本発明は、物流分野をはじめとする多様な分野、例えば、人間追従物流ロボット、集配員追従ロボット、個人用カーゴロボット、電動ゴルフカートなどに適用することができる。
【図面の簡単な説明】
【0036】
【図1】本発明の一実施形態における、ステレオカメラ装置に対する構成を示した図である。
【図2】本発明のステレオカメラ装置において、魚眼レンズの配置と、垂直視野角よりも広い水平視野角を得るためのそれぞれのイメージセンサの横方向の配置と、視野角を説明するための一例を示した図である。
【図3】本発明のステレオカメラ装置において、エピポーラ線幾何を説明するための一例を示した図である。
【図4】深度を抽出する方法を説明するための一例を示した図である。
【図5】魚眼レンズ画像に対する正距円筒図法による変換を説明するための一例を示した図である。
【図6】同じ大きさのディスパリティに対する深度の一例を示した図である。
【図7】本発明のステレオカメラ装置の視野角を説明するための一例を示した図である。
【図8】本発明の一実施形態における、ステレオカメラ装置の深度画像処理方法の動作を示したフローチャートである。
【図9】本発明の一実施形態における、ステレオカメラ装置を基盤とする１人称ビジョンシステムの構成を示した図である。
【図10】本発明の一実施形態における、ステレオカメラ装置が１人称ビジョンシステムとして動作する場合に実行される深度画像処理方法の追加の段階を示した図である。
【図11】本発明の一実施形態における、ステレオカメラ装置を基盤とする人間追従システムの構成を示した図である。
【図12】本発明の一実施形態における、ステレオカメラ装置が人間追従システムとして動作する場合に実行される深度画像処理方法の追加の段階を示した図である。
【発明を実施するための形態】
【0037】
本発明の利点および特徴、またはこれを達成する方法は、添付の図面とともに詳しく説明する実施形態を参照すれば明らかになる。しかし、本発明は、以下で開示する実施形態に限定されてはならず、互いに異なる多様な形態で実現されてよい。本実施形態は、本発明の開示を完全なものとしながら、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものに過ぎず、本発明は特許請求の範囲によってのみ定義される。
【0038】
本明細書で使用する用語は、実施形態を説明するためのものに過ぎず、本発明を制限しようとする意図はない。本明細書に記載する単数型は、特に言及しない限り複数型も含む。明細書で使用する「含む（ｃｏｍｐｒｉｓｅｓ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、言及する構成要素、段階、動作、および／または素子が１つ以上の他の構成要素、段階、動作、および／または素子を存在または追加することを排除しない。
【0039】
他の定義がない限り、本明細書で使用するすべての用語（技術および科学的用語を含む）は、本発明が属する技術分野において通常の知識を有する者が共通して理解する意味として使用されてよい。さらに、一般的に使用される事前に定義されている用語は、特別に明らかに定義されていない限り、理想的または過度に解釈されてはならない。
【0040】
以下、添付の図面を参照しながら、本発明の好ましい実施形態について詳しく説明する。図面において、同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素に関する重複する説明は省略する。
【0041】
本発明の実施形態は、２つのレンズ、例えば、魚眼レンズを垂直方向に配置させて水平視野角と垂直視野角を向上させることによって広視野角を有するステレオカメラ装置を提供することをその要旨とする。
【0042】
このとき、本発明は、２つの魚眼レンズそれぞれによって撮影される魚眼画像を地図投影法、例えば、子午線が直線で表示される正距円筒図法（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ）で変換した後、正距円筒図法で変換された魚眼画像を縦方向または垂直方向にステレオマッチングを実行することにより、魚眼画像によって撮影された被写体に対する深度を抽出し、抽出した深度を利用して広視野角の画像を取得することができる。
【0043】
本発明のステレオカメラ装置は、２つの魚眼レンズまたは魚眼レンズカメラが同じ方向を向くように垂直に配置されるため、球面座標系を利用すればエピポーラ線（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）が球面の経度線（子午線）と一致するようになり、魚眼レンズ画像を正距円筒図法で変換すれば経度線が画像において垂直線で表現されるため、垂直線に沿って検索することによって効率的なステレオマッチングを実行することができる。
【0044】
本発明のステレオカメラ装置は、上側の魚眼レンズと下側の魚眼レンズによって撮影される画像に対し、正距円筒図法で変換された画像の各ディスパリティ（ａｎｇｕｌａｒ ｄｉｓｐａｒｉｔｙ）から被写体に対する深度を抽出または算出する。
【0045】
このような本発明について図１～８を参照しながら説明すれば、次のとおりとなる。
【0046】
図１は、本発明の一実施形態における、ステレオカメラ装置の構成を示した図であり、ステレオカメラ装置またはシステムの概念的な構成を示した図である。図２は、本発明のステレオカメラ装置において、魚眼レンズの配置と、垂直視野角よりも広い水平視野角を得るためのそれぞれのイメージセンサの横方向の配置と、視野角を説明するための一例を示した図である。図３は、本発明のステレオカメラ装置において、エピポーラ線幾何を説明するため一例を示した図である。図４は、深度を抽出する方法を説明するための一例を示した図である。図５は、魚眼レンズ画像に対する正距円筒図法による変換を説明するための一例を示した図である。図６は、同じ大きさのディスパリティに対する深度の一例を示した図である。図７は、本発明のステレオカメラ装置の視野角を説明するための一例を示した図である。
【0047】
図１～７を参照すると、本発明の実施形態に係るステレオカメラ装置１００は、受信部１１０、変換部１２０、および処理部１３０を含む。
【0048】
受信部１１０は、垂直方向に配置される第１レンズ、例えば第１魚眼レンズ（または、第１魚眼レンズカメラ）と第２レンズ、例えば第２魚眼レンズ（または、第２魚眼レンズカメラ）によって撮影される被写体の第１画像（または、第１魚眼画像）と第２画像（または、第２魚眼画像）を受信する。
【0049】
例えば、受信部１１０は、図２に示すように、垂直方向に配置される第１魚眼レンズと第２魚眼レンズによって撮影される被写体の第１魚眼画像と第２魚眼画像を受信する。ここで、第１魚眼レンズと第２魚眼レンズは、同じ方向を向くように垂直方向に配置され、最大水平視野角と最大１８０度まで向上した垂直視野角を有してよい。例えば、垂直方向に配置された第１魚眼レンズと第２魚眼レンズは、２００度以上の水平視野角と１８０度以上の垂直視野角を有してよい。ただし、魚眼レンズそれぞれは、２００度以上の水平視野角と１８０度以上の垂直視野角に制限あるいは限定されてはならず、水平視野角と垂直視野角は、使用する魚眼レンズによって異なってよい。
【0050】
また、受信部１１０は、第１画像を撮影するための第１カメラの第１イメージセンサと第２画像を撮影するための第２カメラの第２イメージセンサの横の長さが縦の長さよりも長い長方形の場合、縦視野角（または、垂直視野角）よりも広い横視野角（または、水平視野角）を得るように、それぞれのイメージセンサは横方向に配置されてよい。ただし、これに制限あるいは限定されてはならず、受信部１１０のイメージセンサはそれぞれ縦方向に配置されてもよい。
【0051】
変換部１２０は、受信部１１０で受信する第１魚眼画像と第２魚眼画像を地図投影法で変換する。
【0052】
このとき、変換部１２０は、第１魚眼画像と第２魚眼画像を正距円筒図法（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ）で変換してよい。
【0053】
ここで、正距円筒図法は、地図投影法の１つであって、緯度線と経度線がそれぞれ水平線と垂直線で表現されてよい。例えば、図３に示すように、変換部は、２２０度の魚眼画像を正距円筒図法で変換することにより、エクイレクタングラー画像（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ ｉｍａｇｅ）に変換してよい。このような正距円筒図法は、３６０度カメラなどで従来の直線投影（Ｒｅｃｔｉｌｉｎｅａｒ Ｐｒｏｊｅｃｔｉｏｎ）画像に収めることのできない広い視野角を有するために使用されてよい。また、１８０度以上の視野角の魚眼レンズ画像を正距円筒図法で変換すれば、画像の上下部分が左右に大きく伸びる歪曲が発生することがある。
【0054】
また、変換部１２０は、第１魚眼画像と第２魚眼画像を正距円筒図法で変換する前に、第１魚眼画像と第２魚眼画像を回転させて子午線の方向を一致させるための画像整列（ｉｍａｇｅ ｒｅｃｔｉｆｉｃａｔｉｏｎ）を実行してもよい。画像整列を行えば、２つの画像の比較が１次元探索に単純化されるため、ステレオマッチングの速度を高めることができる。
【0055】
処理部１３０は、変換部１２０により、正距円筒図法で変換された魚眼画像、すなわち、第１エクイレクタングラー画像と第２エクイレクタングラー画像を縦方向または垂直方向にステレオマッチングを実行することにより、第１魚眼レンズと第２魚眼レンズによって撮影される被写体の深度または深度マップを抽出する。
【0056】
このとき、処理部１３０は、図４に示すように、２つの魚眼レンズまたは魚眼レンズカメラが同じ方向を向くように垂直に配置されるため、球面座標系を利用すれば、エピポーラ線（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）が球面の経度線（子午線）と一致するようになり、魚眼レンズ画像を正距円筒図法で変換すれば、経度線が画像において垂直線で表現されるため、垂直線に沿って検索することによって効率的なステレオマッチングを実行することができる。
【0057】
さらに、処理部１３０は、図５に示すように、上側の魚眼レンズと下側の魚眼レンズによって撮影される画像に対し、正距円筒図法で変換された画像の各ディスパリティ（ａｎｇｕｌａｒｄｉｓ ｐａｒｉｔｙ）、すなわち、φ１－φ０から被写体に対する深度（ｄ）を抽出または算出してよい。ここで、深度は、以下の数式（１）によって抽出または算出されてよい。
【0058】
【数1】
【0059】
ここで、各ディスパリティが同じであっても、深度はφ１によって異なることが分かる。また、Ｂａｓｅｌｉｎｅ Ｂと同じ方向である上側と下側、例えば、φ１が－９０度または９０度では深度が求められないことを確認することができる。
【0060】
このとき、カメラが向く方向をＺ軸とし、基準線（Ｂａｓｅｌｉｎｅ）の方向をＹ軸としたとき、同じ大きさの各ディスパリティに対する深度は、図６に示すように異なってよい。
【0061】
制限的な視野角を有する従来のステレオでは、深度（または、距離）とディスパリティの大きさが反比例関係にあると近似して計算したが、広い視野角を使用するときは、上記の数式（１）のように深度と各ディスパリティは複雑な関係を有するため、これを考慮しなければならない。
【0062】
さらに、処理部１３０は、抽出された被写体の深度を利用して、１８０度以上の水平視野角と最大１８０度の垂直視野角の広視野角を有する被写体に対する像を取得してよい。
【0063】
このように、本発明の実施形態に係るステレオカメラ装置は、２つのレンズ、例えば、魚眼レンズを垂直方向に配置させて水平視野角と垂直視野角を向上させることにより、広視野角を有することができる。例えば、本発明において、垂直視野角は最大１８０度、水平視野角は１８０度よりも遥かに広い広視野角のＲＧＢ－Ｄカメラ装置を実現することができる。ここで、２８０度の魚眼レンズを使用するとき、水平視野角２８０度と垂直視野角１８０度視野角も可能である。
【0064】
また、本発明の実施形態に係るステレオカメラ装置は、本発明の実施形態によると、水平視野角と垂直視野角を向上させて広視野角を有することによって人間の視野角よりも広いＲＧＢ－Ｄ（ｄｅｐｔｈ）カメラを実現することができ、これによって接近客体を容易に検出することができる。例えば、本発明の実施形態に係るステレオカメラ装置は、図７に示すように、接近客体を容易に検出することができるため、１ｍ以内に接近した人物の全身検出が可能となる。
【0065】
また、本発明の実施形態に係るステレオカメラ装置を追従ロボットに付着する場合、追従対象が接近していても全身を検出することができ、追従対象が左右に移動方向を変える場合にも視野から外れないため安定的な追従が可能となる。したがって、本発明は、ヒューマンコンピュータインタフェースだけではなく、人間とロボットの相互作用と各種移動体で活用することができる。
【0066】
上述したように、本発明のステレオカメラ装置は、２つの魚眼レンズまたは魚眼レンズカメラを垂直方向または縦方向に配置して撮影した画像を正距円筒図法（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ）で変換することにより、上下画像の効率的なステレオマッチングが可能となる。
【0067】
直線投影（Ｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎ）画像を利用する従来のステレオカメラは、２つのカメラを水平に配置するか垂直に配置することに大きな差がないため、被写体の方向を考慮した上で装着が便利な方向に配置して使用すればよかったが、正距円筒図法で変換された画像を利用する広視野角ステレオカメラの場合は、カメラの設置方向によって画像歪曲の形態が変わり、図６に示すようにステレオマッチングで求めることのできる深度の正確度が変わるため、画像の歪曲と被写体に対してより正確な深度値を求めることのできるステレオカメラの配置を考慮する必要がある。
【0068】
直線投影画像の場合は、実世界での直線が画像でも常に直線で表現されるため、カメラの設置方向によって画像に歪曲が発生しないが、正距円筒図法で変換した画像の場合は、実世界での垂直線は直線で表現されるが実世界の水平線は曲線で表現され、カメラの設置方向によって画像歪曲の形態が変わるようになる。
【0069】
すなわち、カメラが左右に傾かないことにより、直立した被写体が正距円筒図法で変換された画像で最も少ない歪曲で表現することができる。
【0070】
これにより、正距円筒図法で変換された画像を使用するカメラは、主に、正面を向いて直立した状態で使用されると仮定してよく、２つのレンズを縦方向に配置した広視野角ステレオカメラは、以下の３つの内容を考慮した上で、縦方向に配置する場合の長所を利用した。
【0071】
１つ目に、１８０度以上の視野角のステレオでは、２つのカメラの間に隠れが発生する。例えば、画像において、ステレオカメラを構成する横のカメラも見える。これにより、２つのカメラを垂直方向に配置することにより、隠れの方向が上側から下側になるようにしてよい。一般的な状況において、被写体は、天井方向や床方向よりは正面や側面方向に意味を有する可能性が高いため、隠れの方向が上側から下側を向くようにすることは長所となる。
【0072】
２つ目に、正距円筒図法（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ）を使用する場合、両極（Ｐｏｌｅ）に該当する画像の上側端と下側端に近くなるほど実際よりも過度に拡大されて表現されるという問題がある。２つのカメラを垂直方向に配置することにより、このような歪曲が発生する方向も上側と下側方向に一致させることができる。
【0073】
３つ目に、既存の制限的な視野角のステレオでは、深度の大きさはディスパリティに反比例すると近似して計算したが、視野角が広くなれば、同じ大きさのディスパリティに対してもカメラが向く方向からステレオカメラの基準線の方向に行くほど深度が低くなるため正確な深度を得難くなる。２つのカメラを垂直方向に配置すれば、基準線の方向が上側と下側方向を向くため、正確度が低下する領域を上側と下側に一致させることができる。
【0074】
本発明のステレオカメラ装置は、２つのカメラまたは２つのレンズの間に干渉が起こる方向と深度を求めることができない方向を一致させることによって深度を求めることができない領域を最小化し、水平方向深度マップの視野角を１８０度以上に広げることができる。当然、本発明のステレオカメラ装置は、２８０度の魚眼レンズを使用するときに、水平方向に対して２８０度の深度マップを求めることができる。
【0075】
さらに、本発明の実施形態に係るステレオカメラ装置は、上側カメラと下側カメラのうちの下側カメラの画像を基準に上側カメラ画像を探索してステレオマッチングを実行するようになれば、隠れ（ｏｃｃｌｕｓｉｏｎ）によるホール（ｈｏｌｅ）が客体の下方向に発生するようになる。これは、水平方向に配置されたステレオカメラ装置ではホールが客体の左側または右側に発生するようになることに比べ、本発明ではホールが発生したとしても客体の下側に発生するため、客体検出などの場合により有利となる。
【0076】
【0077】
図８を参照すると、本発明の実施形態に係るステレオカメラ装置の深度画像処理方法は、垂直方向に配置された第１レンズと第２レンズによって撮影される被写体の第１画像、例えば、第１魚眼画像と第２画像、例えば、第２魚眼画像を受信する（Ｓ８１０）。
【0078】
段階８１０で第１魚眼画像と第２魚眼画像を受信すれば、受信した第１魚眼画像と第２魚眼画像を地図投影法で変換する（Ｓ８２０）。
【0079】
このとき、段階８２０は、第１魚眼画像と第２魚眼画像を正距円筒図法（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ）で変換してよい。また、段階８２０は、球面座標系を利用してエピポーラ線（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）を球面の経度線と一致させるように変換してよい。
【0080】
段階８２０で第１魚眼画像と第２魚眼画像が地図投影法で変換されれば、地図投影法で変換された第１魚眼画像と第２魚眼画像を縦方向にステレオマッチングを実行することによって被写体の深度を抽出し、抽出された被写体の深度を利用して１８０度以上の水平視野角と最大１８０度の垂直視野角の広視野角を有する被写体に対する深度画像を取得する（Ｓ８３０、Ｓ８４０）。
【0081】
このとき、段階８３０は、前記地図投影法で変換された第１画像と第２画像を経度線に対応する垂直線に沿って検索することにより、ステレオマッチングを実行してよい。
【0082】
【0083】
また、ステレオカメラ装置は、撮影されるユーザの腕と手の動作、ユーザの姿勢、さらに周辺環境、例えば、周辺の地形や周辺の事物などを認識してこの情報を提供することができる。
【0084】
このような本発明について図９～１０を参照しながら説明すれば、次のとおりとなる。
【0085】
図９は、本発明の一実施形態における、ステレオカメラ装置を基盤とする１人称ビジョンシステムの構成を示した図である。
【0086】
図９を参照すると、ステレオカメラ装置１００は、ビジョン処理部９１０をさらに含むことにより、１人称ビジョンシステムとして動作することができる。
【0087】
このような場合、ステレオカメラ装置１００は、ユーザの頭や胴体などの身体部位、さらには帽子などに付着してユーザの前面方向を撮影してよい。また、ステレオカメラ装置１００によって撮影されるものは、ステレオカメラ装置が広視野角を有することから、ユーザの前面だけを撮影しても、ユーザの腕や手などの身体部位も撮影することができ、周辺環境、例えば、事物、建物、地形などを撮影することもできる。本発明では、このように撮影されるすべてのものを被写体として説明する。
【0088】
ステレオカメラ装置１００が１人称ビジョンシステムとして動作する場合、ビジョン処理部９１０は、ステレオカメラ装置１００が取得する被写体の深度マップを利用してユーザの動作とユーザの周辺に位置する事物と地形を含む周辺環境を認識し、このように認識された情報、すなわち、ユーザの動作と周辺環境情報をユーザに提供する。
【0089】
１人称ビジョンシステム（ステレオカメラ装置１００）は、例えば、水平１８０度以上の広視野角を有するＲＧＢ－Ｄカメラ装置として人間と同じような類似する視野を提供することができるため、１人称ビジョンシステム（ステレオカメラ装置１００）を着用したユーザの上下左右手の動作がすべて視野に入るようになる。これにより、ビジョン処理部９１０は、ステレオカメラ装置１００がユーザの前面を撮影しても、ユーザの手と腕の動作、さらにユーザの行動や姿勢などを認識することができる。
【0090】
ビジョン処理部９１０は、ステレオカメラ装置１００によって深度マップが抽出されるため、周辺事物検出によってユーザの衝突の可能性を感知してこれに関する情報をユーザに提供することもでき、ユーザの手に品物がある場合、ユーザの手と品物の位置検出により、ユーザの手が品物の後ろに位置するか、品物がユーザの手の中に位置するかなどの情報を提供することもでき、周辺環境認識により、周辺の地形や客体などに関する情報をリアルタイムでともに提供することもできる。
【0091】
このように、ステレオカメラ装置１００がビジョン処理部９１０をさらに含むことにより、ユーザの手と腕の作検出または事物などのような接近客体検出が可能となる。
【0092】
図１０は、本発明の一実施形態における、ステレオカメラ装置が１人称ビジョンシステムとして動作する場合に実行される深度画像処理方法の追加の段階を示した図であり、図９の１人称ビジョンシステムとして動作するステレオカメラ装置が、図８に示した深度画像処理方法の段階Ｓ８４０以後に追加で実行する段階を示している。
【0093】
図１０を参照すると、図８を参照しながら説明した段階８３０および段階８４０で被写体の深度または深度マップが抽出された後、抽出された被写体の深度マップを利用してユーザの動作とユーザの周辺に位置する事物と地形を含む周辺環境を認識し、認識されたユーザの動作と周辺環境をユーザに提供する（Ｓ１０１０）。
【0094】
また、ステレオカメラ装置は、ステレオカメラ装置が抽出した被写体の深度マップを利用して人物と人物の周辺に位置する事物と地形を含む周辺環境を認識することにより、周辺環境から衝突の可能性を感知することができ、衝突が発生すると判断される場合は、衝突の可能性を反映して人間追従システムを制御することもできる。
【0095】
このような本発明について図１１～１２を参照しながら説明すれば、次のとおりとなる。
【0096】
図１１は、本発明の一実施形態における、ステレオカメラ装置を基盤とする人間追従システムの構成を示した図である。
【0097】
図１１を参照すると、ステレオカメラ装置１００は、制御部１１１０をさらに含むことにより、人間追従システムとして動作することができる。
【0098】
このような場合、ステレオカメラ装置１００によって撮影されるものは、ステレオカメラ装置が広視野角を有するため、人間追従システムが追従しなければならない人物と周辺環境、例えば、事物、建物、地形などを撮影することができる。本発明では、このように撮影されるすべてのものを被写体として説明する。
【0099】
ステレオカメラ装置１００が人間追従システムとして動作する場合、制御部１１１０は、ステレオカメラ装置１００が取得する被写体の深度マップを利用して追従しなければならない人物および人物との距離を認識し、認識された人物および人物との距離を利用して人物を一定の距離で追従するように人間追従システム（ステレオカメラ装置１００）を制御してよい。
【0100】
このとき、制御部１１１０は、被写体の深度マップを利用して、人物および人物との距離だけでなく、人物の移動方向と人物の周辺に位置する事物、衝突の可能性がある客体と地形を含む周辺環境を認識し、このように認識された情報、すなわち、人物の移動方向と周辺環境に基づいて人間追従システム（ステレオカメラ装置１００）の衝突の可能性を感知し、衝突感知の可能性を反映することで、人間追従システム（ステレオカメラ装置１００）が人物を追従するように制御してもよい。
【0101】
人間追従システム（ステレオカメラ装置１００）は、ステレオカメラ装置１００、例えば、最大１８０度、水平視野角が１８０度よりも遥かに広い広視野角のＲＧＢ－Ｄカメラ装置によって人間と同じような視野を提供することができるため、近距離、例えば、１ｍ以内で人物を追従することができ、近距離で人物の全身をすべて認識することができるため正確な位置の把握も可能となり、縦方向だけでなく横方向に迅速に移動する人物を単独で追従することができる。
【0102】
図１２は、本発明の一実施形態における、ステレオカメラ装置が人間追従システムとして動作する場合に実行される深度画像処理方法の追加の段階を示した図であり、図１１の人間追従システムとして動作するステレオカメラ装置が、図８に示した深度画像処理方法の段階Ｓ８４０以後に追加で実行する段階を示している。
【0103】
図１２を参照すると、図８を参照しながら説明した段階８３０および段階８４０で被写体の深度または深度マップが抽出された後、抽出された被写体の深度マップを利用して人物および人物との距離を認識し、認識された人物および人物との距離を利用して人物を一定の距離で追従するように制御する（Ｓ１２１０）。
【0104】
このとき、段階１２１０は、被写体の深度マップを利用して人物の移動方向と人物の周辺に位置する事物と地形を含む周辺環境を認識し、人物の移動方向と周辺環境に基づいて衝突の可能性を感知し、衝突感知の可能性を反映して人物を追従するように制御してもよい。
【0105】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0106】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕｌａ ｅｑｕｉｐｍｅｔｎ）、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0107】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク、磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
【0108】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0109】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】