知財求人 - 知財ポータルサイト「IP Force」
▶ チョントゥー ジミー テクノロジー カンパニー リミテッドの特許一覧
特表2022-528659プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-06-15
(54)【発明の名称】プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体
(51)【国際特許分類】
H04N 5/74 20060101AFI20220608BHJP
G03B 21/00 20060101ALI20220608BHJP
G03B 21/14 20060101ALI20220608BHJP
G09G 5/00 20060101ALI20220608BHJP
G09G 5/36 20060101ALI20220608BHJP
【ＦＩ】
H04N5/74 D
G03B21/00 D
G03B21/14 D
G09G5/00 510B
G09G5/00 X
G09G5/00 550C
G09G5/36 520D
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021557705
(86)(22)【出願日】2020-03-13
(85)【翻訳文提出日】2021-10-12
(86)【国際出願番号】 CN2020079164
(87)【国際公開番号】W WO2021103347
(87)【国際公開日】2021-06-03
(31)【優先権主張番号】201911182586.7
(32)【優先日】2019-11-27
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521406639
【氏名又は名称】チョントゥー ジミー テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＣＨＥＮＧＤＵ ＸＧＩＭＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ
【住所又は居所原語表記】Ｂｕｉｌｄｉｎｇ ４， Ｚｏｎｅ Ａ， Ｔｉａｎｆｕ Ｓｏｆｔｗａｒｅ Ｐａｒｋ， Ｎｏ． １１２９ Ｃｅｎｔｕｒｙ Ｃｉｔｙ Ｒｏａｄ， Ｈｉｇｈ－ｔｅｃｈ Ｚｏｎｅ， Ｃｈｅｎｇｄｕ， Ｓｉｃｈｕａｎ， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002734
【氏名又は名称】特許業務法人藤本パートナーズ
(72)【発明者】
【氏名】ジョォン，ボ
(72)【発明者】
【氏名】シアオ，シ
(72)【発明者】
【氏名】ワン，シン
(72)【発明者】
【氏名】ユィ，ジンチン
【テーマコード（参考）】
2K203
5C058
5C182
【Ｆターム（参考）】
2K203FA62
2K203GB35
2K203GB46
2K203GB54
2K203GB62
2K203GB69
2K203HB14
2K203HB25
2K203KA33
2K203KA37
2K203KA56
2K203KA72
2K203MA07
2K203MA23
5C058BA27
5C058EA02
5C182AA04
5C182AB13
5C182BA14
5C182CB11
5C182CC26
5C182DA70
(57)【要約】
【要約】
本発明は、プロジェクタの台形補正方法を開示し、該台形補正方法は、投影面内の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラで取得するステップと、予め決定された変換関係、及び第１の座標値に基づいて、位置点の第２の座標系における第２の座標値を決定するステップと、複数の位置点の第２の座標値に基づいてフィッティングして取得したフィッティング平面と、第２の座標系の座標軸平面との間の夾角を利用して、台形補正を実現するステップとを含む。本出願では、ＲＧＢＤカメラで投影領域内の各点と該ＲＧＢＤカメラとの相対位置情報を得ることができること、及び投影光学エンジンとＲＧＢＤカメラとの間の相対姿勢が変化しないという原理を利用して、該プロジェクタに対して台形補正を行うことによって、プロジェクタの台形補正を正確かつ効率的に行うことができる。本出願は、上述の有益な効果を有するプロジェクタの台形補正装置、システム及びコンピュータ読み取り可能な記憶媒体をさらに開示する。
【選択図】なし
本発明は、プロジェクタの台形補正方法を開示し、該台形補正方法は、投影面内の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラで取得するステップと、予め決定された変換関係、及び第１の座標値に基づいて、位置点の第２の座標系における第２の座標値を決定するステップと、複数の位置点の第２の座標値に基づいてフィッティングして取得したフィッティング平面と、第２の座標系の座標軸平面との間の夾角を利用して、台形補正を実現するステップとを含む。本出願では、ＲＧＢＤカメラで投影領域内の各点と該ＲＧＢＤカメラとの相対位置情報を得ることができること、及び投影光学エンジンとＲＧＢＤカメラとの間の相対姿勢が変化しないという原理を利用して、該プロジェクタに対して台形補正を行うことによって、プロジェクタの台形補正を正確かつ効率的に行うことができる。本出願は、上述の有益な効果を有するプロジェクタの台形補正装置、システム及びコンピュータ読み取り可能な記憶媒体をさらに開示する。
【選択図】なし
【特許請求の範囲】
【請求項1】
投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得するステップであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系であるステップと、予め決定された前記第１の座標系と第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定するステップであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系であるステップと、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得するステップと、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行うステップとを含む、ことを特徴とするプロジェクタの台形補正方法。
【請求項2】
予め決定された前記変換関係のプロセスは、前記投影光学エンジンによって特徴点付きのオリジナル画像を投影スクリーンに予め投影し、前記特徴点の前記投影スクリーンにおける投影点を取得するステップと、
前記投影点の前記第１の座標系における投影点の第１の座標値を前記ＲＧＢＤカメラによる撮影により取得するステップと、
前記投影点と前記特徴点とが満たすピンホールイメージングの原理に基づいて、前記投影点の前記第１の座標系、及び前記第２の座標系の各々における座標値が満たす変換関係を組み合わせ、前記投影点の第１の座標値及び前記特徴点の座標値が満たす対応関係：(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを決定するステップであって、式中、(u,v)Tは、前記特徴点の前記投影光学エンジンの画素座標系における特徴点の座標値の列ベクトルであり、(x,y,z)Tは、前記投影点の第１の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数であり、R及びtは、前記変換関係の変換パラメータであり、fx及びfyは、それぞれ、前記投影光学エンジンのｘ軸方向に画素を単位として表す焦点距離パラメータ及びｙ軸方向に画素を単位として表す焦点距離パラメータであり、 cx及び cyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータとｙ軸方向の光心パラメータであるステップと、
前記対応関係に基づいて、複数組の前記投影点の第１の座標値及び前記特徴点の座標値を組み合わせて、パラメータR,t,fx,fy,cx,cyを取得するステップとを含む、ことを特徴とする請求項１に記載のプロジェクタの台形補正方法。
【請求項3】
前記位置点の前記第２の座標系における第２の座標値を決定した後、ピンホールイメージングの原理及び複数の前記第２の座標値に基づいて、前記投影光学エンジンの投影領域を決定するステップと、
前記ＲＧＢＤカメラによる撮影により取得された投影面画像において最大の純色領域又はスクリーン領域を認識し、前記投影光学エンジンのターゲット投影領域を決定し、次に、複数の前記位置点の前記第２の座標値に対して平面フィッティングを行う前記ステップを実行するステップとをさらに含み、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う前記ステップは、
前記投影光学エンジンに対して台形補正を行い、前記投影光学エンジンの実際投影領域が全て前記ターゲット投影領域内にあるようにするステップを含む、ことを特徴とする請求項１又は２に記載のプロジェクタの台形補正方法。
【請求項4】
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行う前記ステップは、前記ターゲット投影領域外の位置点を除去するステップと、
前記ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行うステップとを含む、ことを特徴とする請求項３に記載のプロジェクタの台形補正方法。
【請求項5】
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行った後、前記投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と前記投影光学エンジンの投影方向との夾角に従って、前記投影光学エンジンに対して光軸方向に沿う回転角を調整するステップをさらに含む、ことを特徴とする請求項１に記載のプロジェクタの台形補正方法。
【請求項6】
投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する第１の座標モジュールであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である第１の座標モジュールと、予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定する第２の座標モジュールであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系である第２の座標モジュールと、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する平面フィッティングモジュールと、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う台形補正モジュールとを含む、ことを特徴とするプロジェクタの台形補正装置。
【請求項7】
投影光学エンジンと、ＲＧＢＤカメラと、プロセッサとを含み、前記投影光学エンジンは、投影画面を投射し、
前記ＲＧＢＤカメラは、前記投影画面が所在する平面を撮影し、
前記プロセッサは、前記投影光学エンジン及び前記ＲＧＢＤカメラのそれぞれに接続され、前記ＲＧＢＤカメラにより撮影された画面に基づいて、請求項１～請求書５のいずれかに記載のプロジェクタの台形補正方法の操作ステップを実行する、ことを特徴とするプロジェクタの台形補正システム。
【請求項8】
前記ＲＧＢＤカメラは、構造化光カメラ、ｔｏｆカメラ又は両眼カメラのうちのいずれか１種のカメラである、ことを特徴とする請求項７に記載のプロジェクタの台形補正システム。
【請求項9】
前記プロジェクタにジャイロが内蔵される、ことを特徴とする請求項７に記載のプロジェクタの台形補正システム。
【請求項10】
記憶されているコンピュータプログラムが請求項１～請求書５のいずれかに記載のプロジェクタの台形補正方法の操作ステップを実現できる、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は光学デバイスの技術分野に関し、特にプロジェクタの台形補正方法、装置、システム及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【0002】
マルチメディア技術の発展に伴い、プロジェクタは、教育訓練、企業会議、ホームシアターなどのさまざまな場所で広く使用されている。ただし、プロジェクタが画像を投影するとき、投射環境には不確実な要素が多く、投影した画像が歪むことが多く、たとえば、通常の状況では、プロジェクタが投影する画面は長方形であるが、プロジェクタの配置位置が傾斜し、投影方向が投影面に完全に垂直であるわけではないなどの要素のため、投影した画面が台形などの非長方形の四辺形になり、ユーザーの視聴効果に深刻な影響を及ぼす。
【0003】
このため、プロジェクタの使用前に、プロジェクタの投影画面を修正することが不可避である。現在、プロジェクタに対して台形補正を行うほとんどの方法では、複雑な幾何学的計算を行い、投影面に対するプロジェクタの偏向状況を取得し、さらに台形補正を実現する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、プロジェクタの投影画面を補正し、ユーザーに良好な投影画面を提供することを簡単かつ迅速に実現できる、プロジェクタの台形補正方法、装置、システム及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記技術課題を解決するために、本発明は、プロジェクタの台形補正方法を提供し、前記プロジェクタの台形補正方法は、
投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得するステップであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系であるステップと、
予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定するステップであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系であるステップと、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得するステップと、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行うステップとを含む。
投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得するステップであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系であるステップと、
予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定するステップであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系であるステップと、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得するステップと、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行うステップとを含む。
【0006】
本出願では、ＲＧＢＤカメラが、撮影した画像中の各点と、このＲＧＢＤカメラとの間の距離を取得できる技術を活用し、投影光学エンジンが投影すべき投影面上の画像をＲＧＢＤカメラにより撮影し、投影面上の複数の位置点とＲＧＢＤカメラとの相対位置情報を取得し、投影光学エンジンが使用された後、投影光学エンジンとＲＧＢＤカメラとの相対姿勢が変わらないという原理を組み合わせ、この位置点と投影光学エンジンとの相対位置情報、すなわち、位置点の投影光学エンジンの座標系における座標情報を取得し、この投影光学エンジンの偏向状況をさらに決定し、この偏向状況を用いてこの投影光学エンジンに対して台形補正を行い、全プロセスが簡単かつ迅速であり、投影光学エンジンの台形補正を正確かつ効率的に行うことができる。
【0007】
本出願の別の任意選択的な実施例では、予め決定された前記変換関係のプロセスは、
前記投影光学エンジンによって特徴点付きのオリジナル画像を投影スクリーンに予め投影し、前記特徴点の前記投影スクリーンにおける投影点を取得するステップと、
前記投影点の前記第１の座標系における投影点の第１の座標値を前記ＲＧＢＤカメラによる撮影により取得するステップと、
前記投影点と前記特徴点とが満たすピンホールイメージングの原理に基づいて、前記投影点の前記第１の座標系、及び前記第２の座標系の各々における座標値が満たす変換関係を組み合わせ、前記投影点の第１の座標値及び前記特徴点の座標値が満たす対応関係：(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを決定するステップであって、式中、(u,v)Tは、前記特徴点の前記投影光学エンジンの画素座標系における特徴点の座標値の列ベクトルであり、(x,y,z)Tは、前記投影点の第１の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数であり、R及びtは、前記変換関係の変換パラメータであり、fx及びfyは、それぞれ、前記投影光学エンジンのｘ軸方向に画素を単位として表す焦点距離パラメータ及びｙ軸方向に画素を単位として表す焦点距離パラメータであり、 cx及び cyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータとｙ軸方向の光心パラメータであるステップと、
前記対応関係に基づいて、複数組の前記投影点の第１の座標値及び前記特徴点の座標値を組み合わせて、パラメータR,t,fx,fy,cx,cyを取得するステップとを含む。
前記投影光学エンジンによって特徴点付きのオリジナル画像を投影スクリーンに予め投影し、前記特徴点の前記投影スクリーンにおける投影点を取得するステップと、
前記投影点の前記第１の座標系における投影点の第１の座標値を前記ＲＧＢＤカメラによる撮影により取得するステップと、
前記投影点と前記特徴点とが満たすピンホールイメージングの原理に基づいて、前記投影点の前記第１の座標系、及び前記第２の座標系の各々における座標値が満たす変換関係を組み合わせ、前記投影点の第１の座標値及び前記特徴点の座標値が満たす対応関係：(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを決定するステップであって、式中、(u,v)Tは、前記特徴点の前記投影光学エンジンの画素座標系における特徴点の座標値の列ベクトルであり、(x,y,z)Tは、前記投影点の第１の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数であり、R及びtは、前記変換関係の変換パラメータであり、fx及びfyは、それぞれ、前記投影光学エンジンのｘ軸方向に画素を単位として表す焦点距離パラメータ及びｙ軸方向に画素を単位として表す焦点距離パラメータであり、 cx及び cyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータとｙ軸方向の光心パラメータであるステップと、
前記対応関係に基づいて、複数組の前記投影点の第１の座標値及び前記特徴点の座標値を組み合わせて、パラメータR,t,fx,fy,cx,cyを取得するステップとを含む。
【0008】
本実施例では、投影光学エンジンによって、大量の特徴点を有するパターンを投影し、投影光学エンジンにおけるオリジナル画像上の特徴点と、投影画面上の投影点とが満たすピンホールイメージングの原理、及び投影点の、ＲＧＢＤカメラの第１の座標系における座標と、投影光学エンジンの第２の座標系における座標値とが満たす変換関係を用い、ＲＧＢＤカメラにより撮影された投影点から取得された投影点の第１の座標値と、オリジナル画像中の特徴点の画素座標系における特徴点の座標値との対応関係を作成し、この対応関係を用いて、投影光学エンジンの内部パラメータ、及び投影光学エンジンとＲＧＢＤカメラとの間の外部パラメータを計算し、予め決定された前記第１の座標系と前記第２の座標系との変換関係をさらに決定する。
【0009】
投影光学エンジンの使用前に、より簡単かつ操作しやすい特定の投影環境を作成し、カメラ補正原理を用いて、各種のパラメータの計算プロセスを実現し、投影光学エンジンのこの後の使用に、有効的なパラメータデータを提供し、投影光学エンジンのこの後の使用での計算プロセスを簡略化し、投影光学エンジンの台形補正プロセスを加速する。
【0010】
本出願の別の任意選択的な実施例では、前記位置点の前記第２の座標系における第２の座標値を決定した後、
ピンホールイメージングの原理及び複数の前記第２の座標値に基づいて、前記投影光学エンジンの投影領域を決定するステップと、
前記ＲＧＢＤカメラによる撮影により取得された投影面画像において最大の純色領域又はスクリーン領域を認識し、前記投影光学エンジンのターゲット投影領域を決定し、次に、前記した複数の前記位置点の前記第２の座標値に対して平面フィッティングを行うステップを実行するステップをさらに含み、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う前記ステップは、
前記投影光学エンジンに対して台形補正を行い、前記投影光学エンジンの実際投影領域が全て前記ターゲット投影領域内にあるようにするステップを含む。
ピンホールイメージングの原理及び複数の前記第２の座標値に基づいて、前記投影光学エンジンの投影領域を決定するステップと、
前記ＲＧＢＤカメラによる撮影により取得された投影面画像において最大の純色領域又はスクリーン領域を認識し、前記投影光学エンジンのターゲット投影領域を決定し、次に、前記した複数の前記位置点の前記第２の座標値に対して平面フィッティングを行うステップを実行するステップをさらに含み、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う前記ステップは、
前記投影光学エンジンに対して台形補正を行い、前記投影光学エンジンの実際投影領域が全て前記ターゲット投影領域内にあるようにするステップを含む。
【0011】
本実施例では、台形補正を行う前に、ターゲット投影領域を分割することで、投影光学エンジンが台形補正プロセスにおいて、適切な投影領域を適応的に選択し、さらに環境による影響を低減させる。
【0012】
本出願の別の任意選択的な実施例では、複数の前記位置点の前記第２の座標値に対して平面フィッティングを行う前記ステップは、
前記ターゲット投影領域外の位置点を除去するステップと、
前記ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行うステップとを含む。
前記ターゲット投影領域外の位置点を除去するステップと、
前記ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行うステップとを含む。
【0013】
ターゲット領域は、ＲＧＢＤカメラが認識した純色領域又はスクリーンが所在する領域に基づいて決定されるものであり、すなわち、投影光学エンジンが最後に投影すべき領域であり、つまり、ターゲット投影領域は、環境干渉がなくかつ投影に適する領域であるため、このターゲット投影領域内の位置点に基づいてフィッティングしたフィッティング平面は、外界環境による干渉を排除したものであり、それにより、遮蔽部位の位置点も平面フィッティングされ、最後に取得したフィッティング平面の精度が低いという問題を回避する。
【0014】
本出願の別の任意選択的な実施例では、前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行った後、
前記投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と前記投影光学エンジンの投影方向との夾角に従って、前記投影光学エンジンに対して光軸方向に沿う回転角を調整するステップをさらに含む。
前記投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と前記投影光学エンジンの投影方向との夾角に従って、前記投影光学エンジンに対して光軸方向に沿う回転角を調整するステップをさらに含む。
【0015】
投影領域の形状を補正することに加えて、ジャイロの投影光学エンジンに対するピッチ角を調整することで、さらに、投影光学エンジンの投影プロセスにおいて、投影画面をより完璧に調節することを実現し、投影光学エンジンの投影効果を確保し、投影光学エンジンの投影効果を向上させる。
【0016】
本出願は、プロジェクタの台形補正装置をさらに提供し、このプロジェクタの台形補正装置は、
投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する第１の座標モジュールであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である第１の座標モジュールと、
予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定する第２の座標モジュールであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系である第２の座標モジュールと、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する平面フィッティングモジュールと、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う台形補正モジュールとを含む。
投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する第１の座標モジュールであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である第１の座標モジュールと、
予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定する第２の座標モジュールであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系である第２の座標モジュールと、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する平面フィッティングモジュールと、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う台形補正モジュールとを含む。
【0017】
本実施例は、上記プロジェクタの台形補正方法に対応するソフトウェアモジュールの実施例であり、その技術的効果が上記台形補正方法の技術案及び技術的効果と同様であり、ここで詳しく説明しない。
【0018】
本出願は、プロジェクタの台形補正システムをさらに提供し、このプロジェクタの台形補正システムは、投影光学エンジンと、ＲＧＢＤカメラと、プロセッサとを含み、
前記投影光学エンジンは、投影画面を投射し、
前記ＲＧＢＤカメラは、前記投影画面が所在する平面を撮影し、
前記プロセッサは、前記投影光学エンジン及び前記ＲＧＢＤカメラのそれぞれに接続され、前記ＲＧＢＤカメラにより撮影された画面に基づいて、請求項１～請求書５のいずれかに記載のプロジェクタの台形補正方法の操作ステップを実行する。
前記投影光学エンジンは、投影画面を投射し、
前記ＲＧＢＤカメラは、前記投影画面が所在する平面を撮影し、
前記プロセッサは、前記投影光学エンジン及び前記ＲＧＢＤカメラのそれぞれに接続され、前記ＲＧＢＤカメラにより撮影された画面に基づいて、請求項１～請求書５のいずれかに記載のプロジェクタの台形補正方法の操作ステップを実行する。
【0019】
本実施例では、ＲＧＢＤカメラと、投影光学エンジンと、プロセッサとが互いに協働し、ＲＧＢＤカメラは、投影光学エンジンが投影した投影画面を撮影し、プロセッサは、ＲＧＢＤカメラが投影画面を撮影して得られた位置点の奥行き情報に基づいて、上記プロジェクタの台形補正方法の操作ステップを実行し、投影光学エンジンの台形補正を簡単かつ正確に実現し、ユーザーに良好な視聴効果を提供する。
【0020】
本出願の別の任意選択的な実施例では、前記ＲＧＢＤカメラは、構造化光カメラ、ｔｏｆカメラ又は両眼カメラのうちのいずれか１種のカメラである。
【0021】
本出願の別の任意選択的な実施例では、前記プロジェクタにジャイロが内蔵される。
【0022】
ジャイロによって投影光学エンジンの光軸方向での回転角を調整し、投影光学エンジンの調整効果をさらに向上させる。
【0023】
本出願は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、以上のいずれかに記載のプロジェクタの台形補正方法の操作ステップを実現できる。
【0024】
本実施例に係るコンピュータ読み取り可能な記憶媒体におけるコンピュータプログラムが実行されると、投影光学エンジンの台形補正を正確かつ効率的に行うことができる。
【図面の簡単な説明】
【0025】
本発明の実施例と従来技術の技術的解決手段をより明確に説明するため、以下に実施例と従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は単に本発明の実施例の一部の実施例であって、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到しうる。
【図1】本出願の実施例に係るプロジェクタの台形補正方法のフローチャートである。
【図2】本出願の実施例に係る変換関係を決定するフローチャートである。
【図3】カメラ補正原理の光路原理の模式図である。
【図4】本出願の実施例に係るオリジナル画像の模式図である。
【図6a】本出願の実施例に係るターゲット投影領域の模式図である。
【図6b】本出願の実施例に係る別のターゲット投影領域の模式図である。
【図7】本出願の別の実施例に係るプロジェクタの台形補正方法のフローチャートである。
【図8】本発明の実施例に係るプロジェクタの台形補正装置の構造ブロック図である。
【発明を実施するための形態】
【0026】
本発明の核心は、複雑な幾何学的計算を行うことなく、プロジェクタの台形補正を実現できる、プロジェクタの台形補正方法、装置、システム及びコンピュータ読み取り可能な記憶媒体を提供することである。
【0027】
当業者が本発明の技術的解決手段をよりよく理解するために、本発明は、添付の図面および特定の実施形態を参照して、以下でさらに詳細に説明される。明らかに、記載された実施形態は、すべての実施形態ではなく、本発明の実施形態の一部にすぎない。本発明の実施形態に基づいて、創造的な労働なしに当業者によって得られる他のすべての実施形態は、本発明の保護範囲に含まれるものとする。
【0028】
【0029】
ステップＳ１１において、ＲＧＢＤカメラが投影光学エンジンの投影面の画像を撮影し、投影面上の複数の位置点の第１の座標系における第１の座標値を取得する。
【0030】
なお、ＲＧＢＤカメラの光軸方向と、投影光学エンジンの光軸方向とは、ほぼ一致し、投影光学エンジンが投影面に投影画面を投影するとき、この投影画面は、ＲＧＢＤカメラにより撮影された画像内に位置すべきである。
【0031】
具体的には、投影面とは、投影光学エンジンが画面を投射する面であり、本実施例では、ＲＧＢＤカメラが画像を撮影するとき、投影光学エンジンは、投影面に投影してもよいし、投影しなくてもよく、ＲＧＢＤカメラにより撮影された画像が投影光学エンジンが画面を投射すべき面上の画像である限り、本出願の実現に影響を与えない。
【0032】
また、第１の座標系は、ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である。つまり、第１の座標値は、投影面上の位置点の、ＲＧＢＤカメラの空間三次元直角座標系における座標値である。このＲＧＢＤカメラの三次元直角座標系は、第１の座標系において、Ｘ軸及びＹ軸がいずれもＲＧＢＤカメラのイメージング平面の辺に平行し、Ｚ軸方向がこのＲＧＢＤカメラの光軸であり、原点がＲＧＢＤカメラのレンズ光心位置であるものである。
【0033】
ステップＳ１２において、予め決定された第１の座標系と第２の座標系との変換関係、及び第１の座標値に基づいて、位置点の第２の座標系における第２の座標値を決定する。
【0034】
なお、第１の座標系と第２の座標系との変換関係は、空間中の一点の、第１の座標系及び第２の座標系の２つの座標系における２つの座標値の変換関係である。
【0035】
また、第２の座標系は、投影光学エンジンの光学システムにおける空間三次元直角座標系であり、Ｚ軸が投影光学エンジンの投射方向であり、原点が投影光学エンジンのレンズの光心である。
【0036】
投影光学エンジンが実際に使用された後、投影光学エンジンとＲＧＢＤカメラとの相対位置及び姿勢は変わらず、つまり、両者の相対位置関係が固定されており、さらに第１の座標系と第２の座標系との変換関係が固定されている。これによって、投影光学エンジンに対応する第２の座標系と、ＲＧＢＤカメラに対応する第１の座標系との変換関係を予め取得できる。この変換関係に基づいて、投影面上の任意の位置点の、第１の座標系における座標値を知ると、この位置点の第２の座標系における座標値を決定することができる。
【0037】
ステップＳ１３において、複数の位置点の第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する。
【0038】
通常の場合、投影面は、平面であり、この平面上の複数の位置点の、第２の座標系における座標を取得すると、この第２の座標系においてこの投影面をフィッティングすることができ、この投影面と投影光学エンジンとの間の角度関係を決定することができる。
【0039】
ステップＳ１４において、フィッティング平面と第２の座標系の座標軸平面との間の夾角にしたがって、投影光学エンジンに対して台形補正を行う。
【0040】
第２の座標系のＺ軸と投影光学エンジンの光軸とが重なるため、フィッティング平面及び第２の座標系における座標軸を決定すると、この投影面が第２の座標系に対してＸ軸に沿って回転する角度及びＹ軸に沿って回転する角度を決定でき、これによって、投影光学エンジンの台形補正を実現できる。
【0041】
通常の台形補正プロセスにおいて、一般的に、投影光学エンジンが投射面に特定のパターンを有する投影画面を投射し、投影画面上の特定の特徴点間の相対位置情報をカメラによる撮影により取得し、複雑な幾何学的計算を行い、投影画面の投影光学エンジンに対する偏向角度を決定し、さらに台形補正を実現する。しかし、この方法は、投影光学エンジンが投射するパターンが特定の特徴点を有し、この特徴点に基づいて台形補正を行う必要があり、特徴点の局所が遮蔽されると、補正精度が低くなったり、補正に失敗したりしてしまう。
【0042】
従って、本出願のＲＧＢＤカメラは、投影面を撮影するとき、一部の特定の位置点を認識することなく、投影面上の大量の位置点とＲＧＢＤカメラとの相対位置情報を取得すればよい。ＲＧＢＤカメラを用いて位置点の奥行き情報を取得できるため、この位置点は、任意の形態の点であり、さらに、認識性がない純色領域を含む点である。つまり、本出願の台形補正は、投影光学エンジンが投射した画面に依存せず、さらに投影光学エンジンが画面を投射しなくても、投影光学エンジンの台形補正を実現することができ、それにより、投影遮蔽の問題を完全に回避することができる。投影面上の各位置点の投影光学エンジンに対する相対位置座標を決定すると、各位置点に対して平面フィッティングを行ってフィッティング平面を取得する。このフィッティング平面が、位置点の、投影光学エンジンに対応する第２の座標系における座標値に基づいてフィッティングして取得されるため、フィッティング平面と、ｘｏｙ面などの第２の座標系の座標軸平面との相対位置関係を決定することができる。前述したように、第２の座標系のＺ軸方向は、投影光学エンジンの撮影光軸方向であり、従って、フィッティング平面の、投影光学エンジンの投射方向に対する偏向角度及び方向を決定でき、さらにこの偏向角度及び方向に基づいて、投影光学エンジンの台形補正を実現することができる。
【0043】
なお、本出願に係るプロジェクタの台形補正方法は、長焦点距離のプロジェクタ、短焦点距離のプロジェクタ、レーザテレビなど、画像投影に関する機器の台形補正に広く適用され、これについては、本出願では具体的に限定しない。
【0044】
本出願では、ＲＧＢＤカメラが撮影する投影面上の位置点の奥行き情報を取得できる利点を用い、ＲＧＢＤカメラと投影光学エンジンとの相対姿勢が変わらない原理を組み合わせ、投影光学エンジンの空間三次元直角座標系における各位置点の座標値を決定し、すなわち、各位置点と投影光学エンジンとの間の相対位置関係を決定することに相当し、フィッティング平面により、各位置点が所在する平面と投影光学エンジンの投射方向との間の相対位置関係を決定し、幾何学計算を行うことなく、投影光学エンジンが特定のパターンを投影することなく、プロジェクタの台形補正を迅速かつ効果的に行うことができる。
【0045】
前述したように、本出願では、ＲＧＢＤカメラと投影光学エンジンとの間の相対位置及び姿勢を予め決定し、第１の座標系と第２の座標系との変換関係を決定する必要がある。以下、具体的な実施例にて、本出願で上記ステップＳ１３の変換関係を決定するプロセスについて説明し、図２に示すように、図２は、本出願の実施例に係る、変換関係を決定するフローチャートであり、このプロセスは、ステップＳ２１～ステップＳ２４を含むことができる。
【0046】
ステップＳ２１において、投影光学エンジンによって、特徴点付きのオリジナル画像を投影スクリーンに投影する。
【0047】
なお、本実施例に係る、変換関係を決定するプロセスは、投影光学エンジンの使用前に、工場で完了されてもよい。
【0048】
特徴点付きのオリジナル画像として、格子画像、又は、大量の特徴点を有する他の配列画像を用いてもよいが、これについては、本出願では具体的に限定しない。
【0049】
ステップＳ２２において、投影点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する。
【0050】
ステップＳ２３において、投影点と特徴点とが満たすピンホールイメージングの原理に基づいて、投影点の、第１の座標系及び第２の座標系の各々における座標値が満たす変換関係を組み合わせ、投影点の第１の座標値と特徴点の座標値とが満たす対応関係を決定する。
【0051】
具体的には、特徴点の座標値は、オリジナル画像中の特徴の、投影光学エンジンの画素座標系における座標値である。
【0052】
ステップＳ２４において、対応関係に基づいて、複数組の投影点の、第１の座標値及び特徴点の座標値を組み合わせ、変換関係の関連パラメータを計算する。
【0053】
具体的には、図３は、ピンホールイメージングの原理の光路原理の模式図である。図３に示すように、ピンホールイメージングの原理に基づいて、カメラ座標系において、点Ｐは、カメラの光心を通り、カメラのイメージング平面にＰ'点をイメージングし、Ｐ'のカメラの画素座標系における座標値と、Ｐ点のカメラ座標系における座標値とは、相似三角形の幾何的原理を満たし、つまり、Ｐ点のｘ軸座標値及びｙ軸座標値と、Ｐ'点のｘ軸座標値及びｙ軸座標値とは、所定の割合関係を満たす。ピンホールイメージングの原理が光学デバイスにおける成熟した光学モデル技術であるため、Ｐ点とＰ'点とが２つの座標系において満たす座標関係については、ここで詳しく説明しない。
【0054】
本実施例では、投影光学エンジンのオリジナル画像中の特徴点の、投影光学エンジンの画素座標系における座標値は、特徴点の座標値であり、このオリジナル画像中の特徴点を投影画面に投影してイメージングして形成した投影点の、投影光学エンジンの第２の座標系における座標は、投影点の第２の座標値である。明らかに、特徴点と投影点とは、投影光学エンジンのレンズ光心を基準として互いに投射するため、特徴点の座標値と投影点の第２の座標値とはピンホールイメージングの原理を満たす。
【0055】
オリジナル画像を実際に選択して設定するとき、図４に示す格子画像を選択することができ、図４は、本出願の実施例に係るオリジナル画像の模式図であり、格子の交差点を特徴点とし、高い認識性、特徴点の数も非常に多い。
【0056】
オリジナル画像中のある特徴点をA点とし、投影光学エンジンの画素座標系が平面直角座標系であるため、A点の特徴点の座標値を(u,v)、投影点Acの投影点の第２の座標値を(xc,yc,zc)とする。
【0057】
Acの投影点の座標値は、(xc,yc,zc)であり、三次元直角座標系における座標値であり、A点の特徴点の座標値は、(u,v)であり、二次元直角座標系における座標値であり、従って、Acの投影点の座標値を二次元直角座標系における座標に変換する必要があり、変換式は、
であり、変換後のAcの投影点の二次元座標値は、(x',y')である。
【数1】
【0058】
さらに投影光学エンジンの投影プロセスにおいて、A点からAc点への歪みを考慮すると、図５に示すように、図５は、図４におけるオリジナル画像の歪み画像の模式図である。このため、Acの投影点の二次元座標値に対して歪み補正を行い、具体的な補正式は、以下のとおりである。
【数2】
【数3】
【0059】
これによって、Acを歪み補正した投影点の二次元座標値(x",y")を取得し、式中、r2 ＝ x'2 ＋ y'2、k1、k2、k3、k4、k5、k6、p1、p2、s1、s2、s3及びs4は、いずれも投影光学エンジンに関連する定数パラメータである。
【0060】
さらに、以上に記載のピンホールイメージングの原理、特徴点Aと投影点Acの座標値が満たす幾何関係に基づいて、以下の式を得ることができる。
式中、fx及びfyは、それぞれ前記投影光学エンジンのｘ軸方向に、画素を単位として示す焦点距離パラメータ、及びｙ軸方向に画素を単位として示す焦点距離パラメータであり、cx及びcyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータ及びｙ軸方向の光心パラメータである。
【数4】
【0061】
ＲＧＢＤカメラが投影点Acを撮影することで決定した、Ac点のＲＧＢＤカメラに対応する第１の座標系における座標値を投影点の第１の座標値(x,y,z)とし、投影点Acの投影点の第１の座標値と、投影点の第２の座標値とは、
(x,y,z)T ＝ R・(xc,yc,zc)T＋ tの変換関係を満たすように設定し、式中、(x,y,z)Tは、投影点の第１の座標値の列ベクトルであり、(xc,yc,zc)Tは、投影点の第２の座標値の列ベクトルであり、R及びtは、前記変換関係の変換パラメータであり、この変換関係は、第１の座標系と第２の座標系との変換関係である。
(x,y,z)T ＝ R・(xc,yc,zc)T＋ tの変換関係を満たすように設定し、式中、(x,y,z)Tは、投影点の第１の座標値の列ベクトルであり、(xc,yc,zc)Tは、投影点の第２の座標値の列ベクトルであり、R及びtは、前記変換関係の変換パラメータであり、この変換関係は、第１の座標系と第２の座標系との変換関係である。
【0062】
さらに、この変換関係と上記導出式とを組み合わせることで、投影点AcのＲＧＢＤカメラにおける投影点の第１の座標値と、オリジナル画像中の特徴点のＲＧＢＤカメラの画素座標系における特徴点の座標値は、
(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを満たし、式中、(u,v)Tは、前記特徴点の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数である。
(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを満たし、式中、(u,v)Tは、前記特徴点の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数である。
【0063】
オリジナル画像に大量の特徴点があり、特徴点の画素座標系における特徴点の座標値が既知のものであり、画像中の特徴点マッチング原理に基づいて、各特徴点の投影画像における対応する投影点を決定し、各投影点の投影点の第１の座標系における第１の座標値がＲＧＢＤカメラによって取得され、これによって、複数組の(u,v)T及び(x,y,z)Tに基づいて、上記導出式を組み合わせることで、k1、k2、k3、k4、k5、k6、p1、p2、s1、s2、s3、s4及びR,t,fx,fy,cx,cyなどのパラメータを計算することができる。
【0064】
R及びtは、変換関係の変換パラメータであり、従って、R及びtを計算した後に、第１の座標系と第２の座標系との変換関係、すなわち、空間中の一点の、２つの座標系における座標値の変換関係を決定することができる。
【0065】
本実施例では、投影光学エンジンが大量の特徴点を有するパターンを投影し、投影光学エンジンのオリジナル画像中の特徴点と、投影画面上の投影点とが満たすピンホールイメージングの原理の関係、及び投影点のＲＧＢＤカメラの第１の座標系における座標と、投影光学エンジンの第２の座標系における座標との関係を用い、ＲＧＢＤカメラが投影点を撮影することで取得した投影点の第１の座標値と、オリジナル画像中の特徴点の画素座標系における特徴点の座標値との対応関係を作成し、この対応関係を用い、投影光学エンジンの内部パラメータ、及び投影光学エンジンとＲＧＢＤカメラとの間の外部パラメータを計算し、さらに前記第１の座標系と前記第２の座標系との変換関係を決定する。
【0066】
プロジェクタの使用前に、より簡単かつ操作しやすい特定の投影環境を作成し、カメラ補正原理を用いて様々なパラメータの計算プロセスを実現し、プロジェクタのこの後の使用に、有効的なパラメータデータを提供し、プロジェクタのこの後の使用での計算プロセスを簡略化し、プロジェクタの台形補正プロセスを加速する。
【0067】
上記任意の実施例によれば、プロジェクタが投影面に投射してイメージングした各位置点と、投影光学エンジンにおける既存のオリジナル画像中の点とは、ピンホールイメージングの原理を満たす。
【0068】
オリジナル画像中の点を投影面に投影することを投影マッピング関係とすれば、投影光学エンジンの投影領域内の各位置点に対応するオリジナル画像中の投影マッピング点は、オリジナル画像が所在する平面上の小さい画素領域内に集中し、この画素領域は、オリジナル画像の所在領域であり、この画素領域に位置する投影マッピング点の画素座標値も、この画素領域に属すべきである。
【0069】
ＲＧＢＤカメラが投影面の画像を撮影するとき、撮影した画像領域は、投影光学エンジンよりやや大きい投影領域である。そのため、ＲＧＢＤカメラにより撮影された投影面上の位置点に対応する投影マッピング点が画素領域内に位置しない場合、この位置点が投影光学エンジンの投影領域内に位置しないことが示される。
【0070】
そのため、本出願の別の特定の実施例では、上記ステップＳ１２の後であって、ステップＳ１３の前、すなわち、ＲＧＢＤカメラにより、投影面上の各位置点の第１の座標値を取得し、対応する第２の座標値を決定した後であって、複数の第２の座標値に基づいて平面フィッティングを行う前に、
ピンホールイメージングの原理及び複数の第２の座標値に基づいて、投影光学エンジンの投影領域を決定するステップと、
ＲＧＢＤカメラにより撮影して取得された投影面の画像において、最大の純色領域又はスクリーン領域を認識し、投影光学エンジンのターゲット投影領域を決定し、複数の位置点の第２の座標値に対して平面フィッティングを行うステップを実行するステップとをさらに含むことができ、
フィッティング平面と第２の座標系の座標軸平面との間の夾角にしたがって、投影光学エンジンに対して台形補正を行うステップは、
投影光学エンジンに対して台形補正を行い、投影光学エンジンの実際投影領域が全てターゲット投影領域内にあるようにするステップを含む。
ピンホールイメージングの原理及び複数の第２の座標値に基づいて、投影光学エンジンの投影領域を決定するステップと、
ＲＧＢＤカメラにより撮影して取得された投影面の画像において、最大の純色領域又はスクリーン領域を認識し、投影光学エンジンのターゲット投影領域を決定し、複数の位置点の第２の座標値に対して平面フィッティングを行うステップを実行するステップとをさらに含むことができ、
フィッティング平面と第２の座標系の座標軸平面との間の夾角にしたがって、投影光学エンジンに対して台形補正を行うステップは、
投影光学エンジンに対して台形補正を行い、投影光学エンジンの実際投影領域が全てターゲット投影領域内にあるようにするステップを含む。
【0071】
前の実施例と同様に、本実施例では、平面上の位置点と、投影光学エンジンの画素領域中の点とが満たすピンホールイメージングの原理に基づいて、ＲＧＢＤカメラにより撮影された投影面上のどの領域が投影領域に属するかを決定することができる。
【0072】
投影環境が遮蔽されたり、又は、投影領域がスクリーンからずれたりすることがあることに配慮し、台形補正を行う前、ＲＧＢＤカメラにより、投影領域を含む領域の画像を撮影し、画像において、投影することに最適なターゲット投影領域を認識する。
【0073】
ターゲット投影領域については、図６ａ及び図６ｂを参照することができ、図６ａは、本出願の実施例に係るターゲット投影領域の模式図であり、図６ｂは、本出願の実施例に係る別のターゲット投影領域の模式図である。
【0074】
図６ａにおいて、ＲＧＢＤカメラにより撮影された画像１では、純色領域３は、ターゲット投影領域であり、台形の投影領域２は、現在の投影光学エンジンが画面を投射できる領域である。一般的な状況で、投影領域２と純色領域３とに、重なり領域があり、台形補正を行うとき、投影光学エンジンがターゲット投影領域外に投射した一部の画素を無効にすることができる。投影光学エンジンが最後に投射できる領域は、ターゲット投影領域と投影領域２とが重なっている領域のみであり、つまり、投影画面は、最後にターゲット投影領域と投影領域２とが重なっている領域のみに位置し、この領域内に長方形画面を投射する。
【0075】
図６ｂにおいて、画像１の純色領域３と台形の投影領域３との重なり領域をターゲット投影領域４に分割し、台形補正を行うとき、同様に、投影画面全体をターゲット投影領域４内にし、長方形画面を投射する。
【0076】
【0077】
なお、投影光学エンジンにより投射された画面の領域を調整する方法は、２つあり、１つは、投影光学エンジンの位置、光軸などを調整し、さらに投影光学エンジンにより投射された画面をスクリーンなどの投影面において移動することを実現することであり、もう１つは、投影光学エンジンのオリジナル画像を調整し、たとえば、投影光学エンジンの投影領域が台形であると、オリジナル画像を台形に調整し、投影光学エンジンが投射した後、投影平面に長方形画面を表示するととともに、投影光学エンジンの光軸を調整する必要がなくなることである。
【0078】
投影光学エンジンの位置及び光軸を変えることなく、投影光学エンジンが投射できる領域範囲は、固定されており、すなわち、上記ステップでピンホールイメージングの原理により取得された投影領域である。オリジナル画像に対して所定の調整を行い、すなわち、投影光学エンジンのオリジナル画像中の一部の画素領域を無効にすることで、実際投影領域がこの投影領域に比べて所定の程度に収縮し、最後に長方形の実際投影領域になることを実現できる。
【0079】
本実施例では、プロジェクタに対して台形補正を行うとき、投影光学エンジンの実際投影領域を投影領域及び純色領域（又はスクリーン）の重なり領域に収縮させ、投影環境での遮蔽物の干渉を回避し、プロジェクタの投影効果を向上させる。
【0080】
さらに、本出願の別の特定の実施例では、ターゲット投影領域を決定した後、平面フィッティングを行うとき、具体的には、
ターゲット投影領域外の位置点を除去するステップと、
ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行うステップとを含むことができる。
ターゲット投影領域外の位置点を除去するステップと、
ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行うステップとを含むことができる。
【0081】
前述したように、本出願の位置点は、実際にＲＧＢＤカメラにより撮影できる画像中の位置点であり、ＲＧＢＤカメラにより撮影された画像中の各位置点がいずれも同一の平面に位置する場合、位置点にしたがってフィッティングされた平面は、必然的に投影領域が所在する平面である。一方、コーナー領域が遮蔽されており、又は、一部の領域がスクリーンフレーム領域ではない場合、撮影された画像中の位置点は、全て投影面上の位置点であるわけではなく、ＲＧＢＤカメラにより撮影されたすべての位置点の第２の位置座標に対していずれも平面フィッティングを行い、フィッティングした平面は、投影領域が位置する平面を表すことができず、この位置点をフィッティングして得られた平面に対して台形補正を行うと、明らかに、台形補正の精度を低減させてしまう。
【0082】
また、投影光学エンジンの現在の投影領域における使用可能な位置点は、ターゲット投影領域との重なり部分の位置点であり、投影光学エンジンは、最後に、投射すべき画面が必ずターゲット投影領域内に位置する必要があり、従って、ターゲット投影領域内の位置点をフィッティング根拠とし、さらに外界環境による台形補正への影響を解消する。
【0083】
上記任意の実施例によれば、本出願の別の特定の実施例では、図６に示すように、図７は、本出願の別の実施例に係るプロジェクタの台形補正方法のフローチャートであり、この方法は、ステップＳ３１～ステップＳ３９を含むことができる。
【0084】
ステップＳ３１において、ＲＧＢＤカメラは、投影面が所在する平面の投影画像を撮影し、投影画像中の複数の位置点の第１の座標系における第１の座標値を取得する。
【0085】
ステップＳ３２において、予め決定された第１の座標系と第２の座標系との変換関係、及び第１の座標値に基づいて、位置点の第２の座標系における第２の座標値を決定する。
【0086】
ステップＳ３３において、各位置点の第２の座標値と、対応するソース位置点のソース位置点座標との投影マッピング関係に基づいて、ソース位置点の予め設定された領域における対応する位置点を決定する。
【0087】
予め設定された領域は、投影光学エンジンの画素座標系における、オリジナルパターンが所在する領域である。
【0088】
ステップＳ３４において、投影マッピング点の予め設定された画素点における対応する位置点の第２の座標値に基づいて、ＲＧＢＤカメラにより撮影された投影画像中の投影領域を決定する。
【0089】
ステップＳ３５において、ＲＧＢＤカメラが投影面を撮影して取得した投影画像において、純色領域又はスクリーン領域を認識し、投影領域を組み合わせてターゲット投影領域を決定する。
【0090】
本実施例の投影領域は、図６ｂにおけるターゲット投影領域である。
【0091】
ステップＳ３６において、ターゲット投影領域外に位置する位置点を除去する。
【0092】
ステップＳ３７において、ターゲット投影領域内にある位置点の第２の座標値に基づいてフィッティングしてフィッティング平面を取得する。
【0093】
ステップＳ３８において、フィッティング平面と第２の座標系の座標軸平面との間の夾角にしたがって、投影光学エンジンに対して台形補正を行い、台形補正後の投影光学エンジンの投影領域が全てターゲット領域にあるようにする。
【0094】
ステップＳ３９において、投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と投影光学エンジン投影方向との夾角に従って、投影光学エンジンに対して光軸方向に沿う回転角を調整する。
【0095】
なお、ＲＧＢＤカメラにより撮影された投影平面の画像によって、投影光学エンジンを補正することで、投影光学エンジンが投射した投影領域が長方形であることだけ確保できるが、投影光学エンジンが投射した画面が光軸を中心として回転したか否かを決定できない。
【0096】
そのため、本実施例では、さらにジャイロによって、投影光学エンジンの光軸方向を検出し、このジャイロの１本の直角座標軸は、投影光学エンジンの光軸と垂直であってもよいし、又は、他の一定の角度をなすように常に維持されてもよい。この場合、投影光学エンジンが光軸を中心として回転すると、対応するジャイロも回転し、ジャイロにより検出された重力方向によって、この投影光学エンジンの回転角度を決定することができる。
【0097】
たとえば、従来のほとんどの投影光学エンジンは、垂直平面に画面を投射するものである。通常の場合、光軸はジャイロのｚ軸方向に平行し、重力方向はｘ軸方向に平行し、この場合、重力方向とｘ軸方向とが４５度の夾角をなすことをジャイロが検出すると、この投影光学エンジンが回転したことを決定でき、これによって、投影光学エンジンを調整することができる。
【0098】
以下、本発明の実施例に係るプロジェクタの台形補正装置について説明し、以下に説明されるプロジェクタの台形補正装置と、以上に説明されたプロジェクタの台形補正方法とは、互いに対応して参照することができる。
【0099】
図８は、本発明の実施例に係るプロジェクタの台形補正装置の構造ブロック図であり、図８を参照したプロジェクタの台形補正装置は、
投影光学エンジンの投影面上の複数の位置点の、第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する第１の座標モジュール１００であって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である第１の座標モジュール１００と、
予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定する第２の座標モジュール２００であって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系である第２の座標モジュール２００と、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する平面フィッティングモジュール３００と、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う台形補正モジュール４００とを含むことができる。
投影光学エンジンの投影面上の複数の位置点の、第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する第１の座標モジュール１００であって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である第１の座標モジュール１００と、
予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定する第２の座標モジュール２００であって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系である第２の座標モジュール２００と、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する平面フィッティングモジュール３００と、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う台形補正モジュール４００とを含むことができる。
【0100】
任意選択的には、本出願の別の特定の実施例では、前記変換関係を予め決定するプロセス用の変換関係モジュールをさらに含むことができ、具体的には、
前記投影光学エンジンによって特徴点付きのオリジナル画像を投影スクリーンに予め投影し、前記特徴点の前記投影スクリーンにおける投影点を取得する投影点ユニットと、
前記投影点の前記第１の座標系における投影点の第１の座標値を前記ＲＧＢＤカメラによる撮影により取得する座標ユニットと、
前記投影点と前記特徴点とが満たすピンホールイメージングの原理に基づいて、前記投影点の前記第１の座標系、及び前記第２の座標系の各々における座標値が満たす変換関係を組み合わせ、前記投影点の第１の座標値及び前記特徴点の座標値が満たす対応関係：
(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを決定する対応関係ユニットとであって、式中、(u,v)Tは、前記特徴点の前記投影光学エンジンの画素座標系における特徴点の座標値の列ベクトルであり、(x,y,z)Tは、前記投影点の第１の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数であり、R及びtは、前記変換関係の変換パラメータであり、fx及びfyは、それぞれ、前記投影光学エンジンのｘ軸方向に画素を単位として表す焦点距離パラメータ及びｙ軸方向に画素を単位として表す焦点距離パラメータであり、 cx及び cyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータ及びｙ軸方向の光心パラメータである対応関係ユニットと、
前記対応関係に基づいて、複数組の前記投影点の第１の座標値及び前記特徴点の座標値を組み合わせて、パラメータR,t,fx,fy,cx,cyを取得するパラメータユニットとを含む。
前記投影光学エンジンによって特徴点付きのオリジナル画像を投影スクリーンに予め投影し、前記特徴点の前記投影スクリーンにおける投影点を取得する投影点ユニットと、
前記投影点の前記第１の座標系における投影点の第１の座標値を前記ＲＧＢＤカメラによる撮影により取得する座標ユニットと、
前記投影点と前記特徴点とが満たすピンホールイメージングの原理に基づいて、前記投影点の前記第１の座標系、及び前記第２の座標系の各々における座標値が満たす変換関係を組み合わせ、前記投影点の第１の座標値及び前記特徴点の座標値が満たす対応関係：
(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを決定する対応関係ユニットとであって、式中、(u,v)Tは、前記特徴点の前記投影光学エンジンの画素座標系における特徴点の座標値の列ベクトルであり、(x,y,z)Tは、前記投影点の第１の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数であり、R及びtは、前記変換関係の変換パラメータであり、fx及びfyは、それぞれ、前記投影光学エンジンのｘ軸方向に画素を単位として表す焦点距離パラメータ及びｙ軸方向に画素を単位として表す焦点距離パラメータであり、 cx及び cyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータ及びｙ軸方向の光心パラメータである対応関係ユニットと、
前記対応関係に基づいて、複数組の前記投影点の第１の座標値及び前記特徴点の座標値を組み合わせて、パラメータR,t,fx,fy,cx,cyを取得するパラメータユニットとを含む。
【0101】
任意選択的には、本出願の別の特定の実施例では、
ピンホールイメージングの原理及び複数の前記第２の座標値に基づいて、前記投影光学エンジンの投影領域を決定し、前記ＲＧＢＤカメラによる撮影により取得された投影面画像において最大の純色領域又はスクリーン領域を認識し、前記投影光学エンジンのターゲット投影領域を決定し、次に、前記した複数の前記位置点の前記第２の座標値に対して平面フィッティングを行うステップを実行するターゲット領域モジュールをさらに含むことができ、
台形補正モジュール４００は、具体的には、前記投影光学エンジンに対して台形補正を行い、前記投影光学エンジンの実際投影領域が全て前記ターゲット投影領域内にあるようにする。
ピンホールイメージングの原理及び複数の前記第２の座標値に基づいて、前記投影光学エンジンの投影領域を決定し、前記ＲＧＢＤカメラによる撮影により取得された投影面画像において最大の純色領域又はスクリーン領域を認識し、前記投影光学エンジンのターゲット投影領域を決定し、次に、前記した複数の前記位置点の前記第２の座標値に対して平面フィッティングを行うステップを実行するターゲット領域モジュールをさらに含むことができ、
台形補正モジュール４００は、具体的には、前記投影光学エンジンに対して台形補正を行い、前記投影光学エンジンの実際投影領域が全て前記ターゲット投影領域内にあるようにする。
【0102】
任意選択的には、本出願の別の特定の実施例では、平面フィッティングモジュール３００は、具体的には、前記ターゲット投影領域外の位置点を除去し
前記ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行う。
前記ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行う。
【0103】
任意選択的には、本出願の別の特定の実施例では、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行った後、前記投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と前記投影光学エンジンの投影方向との夾角に従って、前記投影光学エンジンに対して光軸方向に沿う回転角を調整する回転補正モジュールをさらに含むことができる。
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行った後、前記投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と前記投影光学エンジンの投影方向との夾角に従って、前記投影光学エンジンに対して光軸方向に沿う回転角を調整する回転補正モジュールをさらに含むことができる。
【0104】
本実施例のプロジェクタの台形補正装置が前述のプロジェクタの台形補正方法を実現するため、プロジェクタの台形補正装置の具体的な実施形態については、以上のプロジェクタの台形補正方法の実施例部分を参照することができ、たとえば、第１の座標モジュール１００、第２の座標モジュール２００、平面フィッティングモジュール３００、台形補正モジュール４００は、それぞれ、上記プロジェクタの台形補正方法のステップＳ１１、Ｓ１２、Ｓ１３及びＳ１４を実現し、従って具体的な実施形態については、対応する各部分の実施例の説明を参照することができ、ここで詳しく説明しない。
【0105】
本出願では、プロジェクタの台形補正システムをさらに提供し、このプロジェクタの台形補正システムは、投影光学エンジンと、ＲＧＢＤカメラと、プロセッサとを含み、
投影光学エンジンは、投影画面を投射し、
ＲＧＢＤカメラは、投影画面が所在する平面を撮影し、
プロセッサは、投影光学エンジン及びＲＧＢＤカメラのそれぞれに接続され、ＲＧＢＤカメラにより撮影された画面に基づいて、以上の任意の実施例のプロジェクタの台形補正方法の操作ステップを実行する。
投影光学エンジンは、投影画面を投射し、
ＲＧＢＤカメラは、投影画面が所在する平面を撮影し、
プロセッサは、投影光学エンジン及びＲＧＢＤカメラのそれぞれに接続され、ＲＧＢＤカメラにより撮影された画面に基づいて、以上の任意の実施例のプロジェクタの台形補正方法の操作ステップを実行する。
【0106】
本実施例では、ＲＧＢＤカメラとプログラム計算可能なプロセッサの協働により、プロジェクタに対して台形補正を行い、計算プログラムが簡単かつ容易であり、台形補正の精度が高く、環境により影響されにくい。
【0107】
任意選択的には、本出願の別の特定の実施例では、
前記ＲＧＢＤカメラは、構造化光カメラ、ｔｏｆカメラ又は両眼カメラのうちのいずれか１種のカメラである。
前記ＲＧＢＤカメラは、構造化光カメラ、ｔｏｆカメラ又は両眼カメラのうちのいずれか１種のカメラである。
【0108】
任意選択的には、本出願の別の特定の実施例では、
前記プロジェクタにジャイロが内蔵される。
前記プロジェクタにジャイロが内蔵される。
【0109】
投影光学エンジンの光軸方向に垂直な回転角をジャイロによって検出し、投影画面の品質をさらに向上させる。
【0110】
本出願は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体に記憶されているコンピュータプログラムは、以上の任意の実施例に記載のプロジェクタの台形補正方法の操作ステップを実現できる。
【0111】
具体的には、このコンピュータ読み取り可能な記憶媒体は、具体的には、ランダムアクセスメモリ（ＲＡＭ）、メモリー、読み出し専用メモリ（ＲＯＭ）、電気的プログラマブルＲＯＭ、電気的消去可能プログラマブルＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、又は、技術分野における公知の任意の他の形態の記憶媒体であってもよい。
【0112】
本明細書の各実施例は漸次的に記載しており、各実施例では他の実施例との違いを重点的に説明している。各実施例間の同一及び類似の部分については互いを参照すればよい。実施例に開示されている装置は、実施例に開示されている方法に対応するため、簡単に説明され、関連部分は、方法についての説明を参照すればよい。
【0113】
当業者であれば、本明細書に開示された実施形態において説明される各例と組み合わせて、ユニットおよびアルゴリズム段階が、電子的ハードウェアまたは両者の組み合わせによって実装されてよいことを認識されよう。ハードウェア及びソフトウェアの交換性をより明瞭に説明するために、上記の説明では、機能に従って各例の構成及びステップが一般的に記述されている。これらの機能がハードウェアによって実行されるかソフトウェアによって実行されるかは、技術案の特定のアプリケーションおよび設計制約条件に依存する。当業者であれば、特定のアプリケーションごとに、説明した機能を実装するために異なる方法を用い得るが、この実装は、本発明の範囲を越えるものとみなされるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図7】
【図8】
【国際調査報告】