特許 7193790 テーブルプロジェクション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-13

(45)【発行日】2022-12-21

(54)【発明の名称】テーブルプロジェクション装置

(51)【国際特許分類】

   H04N 5/74 20060101AFI20221214BHJP

   G03B 21/00 20060101ALI20221214BHJP

   G06F 3/04842 20220101ALI20221214BHJP

   G06T 7/00 20170101ALI20221214BHJP

   G06T 7/20 20170101ALI20221214BHJP

   G09G 5/00 20060101ALI20221214BHJP

   G09G 5/36 20060101ALI20221214BHJP

【ＦＩ】

H04N5/74 Z

G03B21/00 D

G06F3/04842

G06T7/00 660B

G06T7/20 300A

G09G5/00 530H

G09G5/00 530T

G09G5/00 550C

G09G5/36 520D

【請求項の数】 9

(21)【出願番号】P 2020540835

(86)(22)【出願日】2019-11-27

(86)【国際出願番号】 JP2019046451

(87)【国際公開番号】W WO2020116290

(87)【国際公開日】2020-06-11

【審査請求日】2020-07-22

【審判番号】

【審判請求日】2021-10-06

(31)【優先権主張番号】P 2018229121

(32)【優先日】2018-12-06

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】510215341

【氏名又は名称】株式会社アーティフィス

(74)【代理人】

【識別番号】100110559

【弁理士】

【氏名又は名称】友野 英三

(72)【発明者】

【氏名】長野 稔樹

(72)【発明者】

【氏名】木下 素直

【合議体】

【審判長】五十嵐 努

【審判官】新井 寛

【審判官】渡辺 努

(56)【参考文献】

【文献】国際公開第２０１５－１５９５４７（ＷＯ，Ａ１）

【文献】国際公開第２０１８－１５０７５６（ＷＯ，Ａ１）

【文献】特開２０１６－１２３０７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 5/74

G03B 21/00

G06T 7/00, 7/20

G06F 3/048 - 3/04895

G09G 5/00 - 5/40

(57)【特許請求の範囲】

【請求項1】

単数あるいは複数のプロジェクタと、
対象の撮像を行う単数あるいは複数の映像カメラと、
前記プロジェクタ及び前記映像カメラの視線方向及び／もしくは設置位置を変えるための動作機構部と、
前記映像カメラからの情報と記憶されていた背景画像に係るイメージ情報との異なる部位を差分検知方法を用いて検出し、前記部位に適応する個別演出映像を前記プロジェクタが投影することができる映像とするコントローラと
を具備し、
前記プロジェクタ及び前記映像カメラは相対的に位置を変動可能であり、
前記映像カメラによって撮像された前記対象の移動に追従して前記プロジェクタが前記動作機構部により移動され、選択された前記個別演出映像と前記背景画像との合成映像、もしくは、前記背景画像から前記部位の部分を切除した上で当該切除した部分もしくはその近傍に前記個別演出映像を合成させた合成映像、を、前記プロジェクタが前記動作機構部により移動された位置から投影する
ことを特徴とするテーブルプロジェクション装置。

【請求項2】

前記コントローラは、
映像解析部と、
投影映像処理部と、
前記映像解析部及び前記投影映像処理部を制御する制御部と
を備えて構成されることを特徴とする請求項１記載のテーブルプロジェクション装置。

【請求項3】

集音装置をさらに備え、前記集音装置からの音声情報によって前記プロジェクタからの投影位置及び投影映像選択を行うことを特徴とする請求項１もしくは２記載のテーブルプロジェクション装置。

【請求項4】

前記映像カメラによってテーブル周囲に着席する着席者の位置を検出し、該着席者の近傍のテーブル上に前記着席者に関する前記個別演出映像を投影することを特徴とする請求項１乃至３のうちのいずれか１項記載のテーブルプロジェクション装置。

【請求項5】

前記映像カメラとして赤外線カメラ、通常可視光映像カメラ、赤外線カメラ、広波長カメラの少なくともいずれかが用いられることを特徴とする請求項１乃至４のうちのいずれか１項記載のテーブルプロジェクション装置。

【請求項6】

前記映像カメラによってテーブル上の識別子を認識して、前記認識された識別子の近傍に前記個別演出映像を投影することを特徴とする請求項１～５のうちのいずれか１項記載のテーブルプロジェクション装置。

【請求項7】

前記識別子として再帰性反射材を用いることを特徴とする請求項６記載のテーブルプロジェクション装置。

【請求項8】

前記プロジェクタからの投影映像面上に現れる侵入物の形状や動きにより投影内容を変化させることを特徴とする請求項１～７のうちのいずれか１項記載のテーブルプロジェクション装置。

【請求項9】

前記プロジェクタの投影方向がテーブル平面に対して直角ではなく鋭角もしくは鈍角の角度を有する場合は画像の角度補正を行うことを特徴とする請求項１～８のうちのいずれか１項記載のテーブルプロジェクション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はたとえばテーブルプロジェクション装置に係り、特に、着席者が存在するテーブルに映像を投影するプロジェクション装置に関する。

【背景技術】

【0002】

近年、プロジェクションマッピングと称して色々な対象物に、プロジェクション装置（以後、「プロジェクタ」とも略記する。）によって多種多様な映像を投影することにより宣伝や娯楽、観光目的に効果をあげている。投影される対象物は建造物や壁面、床面等であり、投影面の形状や投影面上の物品配置が変わった場合、その変化に合わせてプロジェクション映像を変える必要がある。

【0003】

例えば、バージンロードを移動する花嫁のベールに花の映像をプロジェクションする場合には、花嫁の移動に合わせてプロジェクタ装置を移動させることが望ましい。すなわち、プロジェクションされる対象物が移動していく場合、移動に合わせてプロジェクション装置を移動させる必要がある。

【0004】

特許文献１には、上方よりテーブル面に３次元映像を投影する技術思想が開示されているが、テーブル着席者の位置が変化したり、テーブル上の物品配置が変わった場合、それに合わせて投影映像を変化させるという技術思想についての記述は見られない。さらに、プロジェクションされる対象物に合わせてプロジェクション装置を移動させるという技術思想は開示されていない。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－１０１３１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

前述してきたように、本発明においては、投影すべきテーブルの形状や位置やテーブル上の配置物が変化しても、着席者の位置が変化しても、それぞれの変化に応じて投影映像を自動的に適応させ得るテーブルプロジェクション装置を提供することを課題とする。

【0007】

また、本発明の別の課題は、テーブル全体に投影する背景映像と着席者にかかわる情報ごとの個別映像を着席者の着席位置近傍に表示できるテーブルプロジェクション装置を提供することである。

【0008】

さらに、プロジェクションされる対象物が移動していく場合、移動に合わせてプロジェクション装置を移動させる得るテーブルプロジェクション装置を提供することをも課題とする。

【課題を解決するための手段】

【0009】

上記のような各課題を解決するために、本発明の一態様に係るテーブルプロジェクション装置においては、単数あるいは複数のプロジェクタと単数あるいは複数の映像カメラとマイクロフォンの様な音声入力装置と、上記３者を制御する制御装置とを備えて構成する。

【発明の効果】

【0010】

本発明のテーブルプロジェクション装置によれば、映像カメラ装置によりテーブル形状を認識し、形状に合わせてプロジェクタから映像を投影することができる。さらに、映像カメラと赤外線カメラ映像によってテーブル周囲の着席者の着席位置を検出できるため、着席者の個別情報毎の個別演出映像を着席者近傍のテーブル上に投影することができる。また、カメラによってテーブル上の物品を認識し、当該物品に関連した映像をプロジェクタから物品関連位置に投影することができる。

【0011】

テーブル上の物品を認識し、物品に関連する映像を投影することにより、物品の由来や、製造過程等を知ることができ、より物品への関心や価値を高めることができる。総じて、本発明によれば、投影映像を用いた新しい応用技術開発もうながされることになる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係るテーブルプロジェクション装置の基本ブロック図である。

【図2A】本発明の一実施形態に係るテーブルプロジェクション装置の適用例を示す図である。

【図2B】本発明の一実施形態に係るテーブルプロジェクション装置の適用例を示す図である。

【図3】本発明の一実施形態に係るテーブルプロジェクション装置のテーブル形状に合わせたプロジェクションを示す図である。

【図4】本発明の一実施形態に係るテーブルプロジェクション装置の個別映像プロジェクションの説明図である。

【図5A】本発明の一実施形態に係るテーブルプロジェクション装置に再帰性反射材による識別マークを用いた場合の実施例である。

【図5B】本発明の一実施形態に係るテーブルプロジェクション装置に再帰性反射材による識別マークを用いた場合の実施例である。

【図6】本発明の一実施形態に係るテーブルプロジェクション装置に差分検知方法を用いた場合の実施例である。

【図7】本発明の一実施形態に係るテーブルプロジェクション装置の実施例である。

【図8】本発明の一実施形態に係るテーブルプロジェクション装置に複数のプロジェクタを用いた場合の実施例である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施形態を説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

【0014】

図１は、本発明の一実施形態に係るテーブルプロジェクション装置の基本ブロック図である。本発明の一実施形態に係るテーブルプロジェクション装置１は、基本的に単数あるいは複数のプロジェクタ２と、単数あるいは複数の映像カメラ３と、両者をコントロールするコントローラ５とを備えて構成されている。また、応用場面によっては、プロジェクタ及び映像カメラに、その視線方向及び／もしくは設置位置を変えるための動作機構部４が付加されて構成されてもよい。同様に、応用場面によってはマイクロフォン（含むワイヤレスマイク）の様な集音装置２ａを追加して構成することができる。コントローラ５には映像カメラからの映像情報を解析する映像及び音声解析部６と、映像解析結果に基づいてプロジェクタの投影映像を制御する投影映像処理部７と、映像及び音声解析部６・投影映像処理部７および／もしくはプロジェクタ２・映像カメラ３・動作機構部４を制御する、μＣＰＵを主体とする制御部８が含まれる。

【0015】

本発明の一実施形態に係るテーブルプロジェクション装置１は、単体の装置を独立的に制御する独立制御を行うことができるが、テーブルプロジェクション装置１を複数用いる場合には各装置を統合制御する全体管理装置９（図示省略）が付加されることでこの全体管理装置９によって制御される構成であってもよい。

【0016】

図２Ａ及び図２Ｂは、本発明の一実施形態に係るテーブルプロジェクション装置１の適用シーンを説明するための概念的斜視図である。図２Ａは着席者１１などがいるテーブル１０直上に互いに位置固定されたプロジェクタ２及び映像カメラ３を設置した例である。後述するように、映像カメラ３によって投影すべき会場の状況を確認して、毎回異なるバンケットのしつらえ等に対応して投影位置、投影内容を変更することができる。なお、同図においては、プロジェクタ２及び映像カメラ３が互いに固定されて相対的に位置が変動できない態様を示しているが、プロジェクタ２及び映像カメラ３が相対的に位置変動可能な構成であってもよい（図示しない）。

【0017】

図２Ｂは、テーブル１０直上のミラー１２を介して映像カメラ３の情報によりプロジェクタ２よりテーブル１０上に映像を投影する場合を説明した例である。また、ミラー１２、プロジェクタ２、映像カメラ３を駆動機構４によってガイドレール５に沿って設置位置を変更可能にした例である。図２Ｂを更に発展させれば、プロジェクタ２、映像カメラ３を部屋の壁面に設置しミラー１２を用いてテーブルに投影したり、ミラー角度を変更することにより壁面に投影することもできる。

【0018】

本実施形態に係る構成によれば、ガイドレール５に沿って駆動機構４によりプロジェクタ２及び映像カメラ３を移動させることができる。例えば結婚式場のバージンロード天井にガイドレール５を敷設しておけば、映像カメラ３が撮像する花嫁の移動に追従してプロジェクタ２を移動させ、花嫁のベールに花模様を変えながら投影することができ、抜群の演出効果となる。

【0019】

図３は、テーブルの形状に合わせて投影映像を変化させる例を示した図である。即ち、映像カメラ３によって同図（Ａ）のごとくテーブル天面の形状を把握し、図２Ｂの投影すべき映像を上記パターンによって切り取り、図３（Ｃ）のごとくそれぞれのテーブル形状に合わせて投影する。この映像はテーブル全面に亘って投影されるため、いわゆる背景映像となる。

【0020】

図４は、テーブルの形状が方形状の場合の例を示す概念的平面図である。同図に示されるように、テーブル１０回りの着席者１１位置を映像カメラによって識別し、その位置情報に合わせて着席者前のテーブル上に、例えば会議に用いる図面画像のような個別演出映像１３を合成して投影することができる。もちろん、個別演出映像１３を背景映像と合成して得られる背景映像合成個別演出映像１３Ａ（図示しない）を投影しても良く、個別演出映像１３のみを投影しても良い。着席者１１の検出をより確実にするため、映像カメラ３として赤外線カメラを用いても良く、通常可視光カメラと赤外線カメラとの両方、或いは可視光から赤外線までの広い波長に対応する映像カメラ、を用いても良い。

【0021】

図５Ａ及び図５Ｂは、映像カメラでテーブル上に設置された識別子の位置及び／もしくは情報内容を識別し、その識別結果に合わせて関連映像を投影する場合を説明するための説明図であり、図５Ａはその概念的平面図、図５Ｂはその概念的斜視図である。識別子としては、着席者の番号や２次元バーコードを用い、着席者個人を識別して個人用の関連映像を投影することができる。また、識別子に再帰性反射材によるパターンを用いると肉眼では見えにくい識別子がプロジェクタの光により映像カメラでははっきりと判別されることが可能となり、より確実に個別演出映像を投影することができることとなる。さらに、識別子を肉眼では識別できない波長の反射材とすれば、着席者にとっては意外性があり効果的に用いることができる。図５Ａ及び図５Ｂでは識別マークを再帰性反射材によって実現する場合を示しているが、再帰性反射材によらずに実現するものであってもよい。

【0022】

上記までの説明では、映像カメラによって着席者位置を識別し、着席者の前のテーブル上に個別演出映像を投影する場合について説明した。後述する図７においては、テーブル１０上に置かれた２次元バーコードのような識別マーク１４を映像カメラ３によって識別し、識別マーク位置に個別演出映像をプロジェクタ２に依って投影することができる態様を説明する。

【0023】

図６は、本発明の一実施形態に係るテーブルプロジェクション装置の別の応用例であり、図３で説明した様にテーブル上に投影する、いわゆる背景画像イメージ１５０Ａを図示しない記憶部等に記憶しておく一方、テーブル上に投影された映像を映像カメラで識別し、上記記憶しておいた背景画像イメージ１５０Ａと異なる部位１５，１６を、いわゆる差分検知方法を用いて検出し（図６の右側の例では円形の皿）、その部位に適応する個別演出映像（図６の右側の例では料理等）を投影することができる。したがって、テーブル上に投影される映像としては、背景画像イメージ１５０Ａと部位１５，１６についての各個別演出映像との合成映像、もしくは、背景画像イメージ１５０Ａから部位１５，１６の部分を切除した上で当該切除部分もしくはその近傍に部位１５，１６についての各個別演出映像を合成させた合成映像、となる。

【0024】

図７は、本発明の一実施形態に係るテーブルプロジェクション装置の他の応用例であり、テーブル上の料理の演出に用いた場合である。図７（ａ）では、着席者７０の前のテーブル上に（皿に載った）魚料理７１が配置はされているが、照明は暗くなっており鮮明には視認できない状態である。この状態で、プロジェクタからは魚がテーブル上を泳いでいる動画７２を投影している。図７（ｂ）では、上記泳ぐ魚の映像が皿に近づいて、当該映像上で魚が飛び上がると同時に皿の上の魚料理にスポットライトが当たり、いかにも泳いできた魚が飛び上がって皿の上の料理になったかのような演出ができる。

【0025】

上記は演出の一例であり、例えば料理の調理過程の動画を至近に投影したり、産地の画像や料理のレシピ等を投影することもできる。これによって、本発明の一実施形態に係る映像カメラとプロジェクタとの組み合わせによりテーブル上の物品の付加価値を高めたり、エンタテインメント性を付加する等幅広い応用分野／シチュエーションに対応することができる。かくのごとく、本発明の一実施形態によれば、投影場所或いは投影場所にある物品を映像カメラで検出し、検出結果に関連する映像を投影することにより、投影場所や物品をより強調して演出することができる。

【0026】

図７（ｃ）は、本発明のさらに別の応用を示す図であり、テーブル上に料理のメニューリスト７３を投影しており、該リスト上のメニュー７３に指先７４を当てると、その指先位置を映像カメラにて検出し、投影されたメニューリストの同位置のメニュー文字の色を変えて注文を受けたことを周囲に、或いは／及び、システム的に（図示しない）制御部や厨房サーバ等に、知らせることができる。また、注文をキャンセルする場合には指先を交差させる等、たとえば投影面での手の形（その他、予め定めた回数の繰り返し動作等の映像もしくは画像的情報、或いは一定回数の拍手などの所定パターンの音情報等によって各種の情報伝達が可能となり、該情報により投影内容を変化させることも可能となる。

【0027】

手の形ばかりでなく、模擬トーチがテーブル上の投影されたキャンドルに近づいたことを映像カメラで検出し、投影映像キャンドルが点灯するという模擬キャンドルサービスを行うことも可能である。もちろんキャンドルの投影映像の代わりに電気点灯のキャンドルを用い、模擬トーチが近づいたことを検出し、プロジェクタからキャンドルへ光信号による点灯信号を送り、キャンドルを電気点灯させることも可能である。

【0028】

上記のメニュー投影と同様に、テーブル前の出席者を確認してスピーチ原稿をテーブル上に投影し、マイクを装備させた映像カメラ或いはプロジェクタからの音声により、あるいはワイヤレスマイクからの音声により、スピーチ音声を音声認識させることによって式もしくはイベントを進行させ、この進行に合わせて現行の文字を色変えしたり、原稿を変更することもできる。同様に会議や式次第のスケジュール表を投影し、進行に従いスケジュールの色変えを行うことができる。同様に会議資料の映像や広告等も投影することができる。プロジェクタ投影方向及び／もしくはテーブル投影面が角度を成す場合は、テーブル面上に投影するメニューやスピーチ原稿は上記角度による補正を行い、通常の紙原稿と同じ形態とすることが好ましい。また、上述した音声認識処理方法は既存技術であるのでここでは詳しい説明を省略する。

【0029】

上記と同様に、例えばバンケットの式進行者がワイヤレスマイクにてテーブル番号及び／もしくは着席者の位置を指定して着席者毎の関連映像をプロジェクタより投影することができる。テーブル番号や着席者位置指定の音声コントロール技術は上記のように現在確立された技術である。

【0030】

本発明の一実施形態に係る構成によれば、上記の投影映像と、その上にかざされるテーブル着席者の手の形や動作を映像カメラで認識しこれに適合させて投影映像を変えることができる。この機能を利用すれば、テーブル上に投影されたビンゴカードをまくったり、投影映像上に手をかざしてその動きを映像カメラで検出したり、投影映像を変化させたりすることにより各種のゲームを楽しむことができる。

【0031】

プロジェクタ投影方向がテーブル平面に対して直角ではなく、鋭角もしくは鈍角の角度を有する場合は、上記メニューやスピーチ原稿にひずみが出てしまうため画像の角度補正が必要となる。この角度補正は通常用いられるプロジェクタに用いられている補正手段で有るので説明は省略する。

【0032】

図８は、図１で説明したような本発明のテーブルプロジェクション装置（詳細図示は省略）を複数用いる場合の説明図である。

【0033】

上記の説明では、本発明の一実施形態に係るテーブルプロジェクション装置を、通常用いられている円形や矩形の平面形状のテーブルについて応用する場合の例を示してきたが、複雑な平面形状のテーブルや立体的な形状のテーブルに応用できるのは自明であり、これ等は全て本発明の技術思想に含まれるものである。

【0034】

また、種々の拡大、縮小、代替、切除等を行っても本願に係る技術思想に包摂されるものである。たとえば、上記では、本願の一実施形態に係るテーブルプロジェクション装置を結婚披露宴の場面に適用する場合を例にとって説明したが、上記に加えて／或いは代替させて、たとえば花嫁の白ドレスに本願の実施形態で説明したマッピングを施して、（バーチャル的な、すなわち実際には発生していないものの映像上で発生して見える、）衣装替え、（バーチャル的な）衣装の早替り等を行うかのごとき映像効果を奏することができる。

【0035】

さらに、上記の場合に、たとえば、集音装置を別途設け、この集音装置と本願の一実施形態に係るテーブルプロジェクション装置とを連動させることで、音に連動して色／柄替え等を行うことができ、これにより、上述のバーチャル的なサプライズ効果に音の効果を重畳させることで新たなサプライズ体験を参加者に与えることが可能となる。

【0036】

さらにまた、クラッカーなど火薬の使用が規制される／もしくは好ましくない状況において、クラッカーの映像（及び音響効果）について、本願の実施形態で説明したマッピングによる（バーチャル）クラッカーの投影（及び音響効果）を施すことで、本来使用できない火薬入りのクラッカー等の使用効果をバーチャル的にもたらすことができる。

【産業上の利用可能性】

【0037】

本発明の一実施形態は、宴席、会議、飲食店等のテーブルへのプロジェクションのみならず、床や壁面へのプロジェクション映像／画像の投影やプロジェクション装置を移動することができるため、着席者をテーブルに案内するためのプロジェクションとして利用したり、テーブルと床壁面を使ったトータルプロジェクションに発展させることができる。また、流通業の倉庫管理や博物館、美術館の案内システム、観光業、建設業等広い分野への応用が期待できる。さらに、観光案内所では、地図投影映像の地図上地点を指さすと風景が投影される等、大変効果的な観光案内が可能となる。船舶ブリッジテーブル上への海図表示による航海計画や軌跡、ＣＩＣルームでの作戦会議や記録等、大変幅広い分野への応用も期待できる。

【符号の説明】

【0038】

１…テーブルプロジェクション装置、２…プロジェクタ、３…映像カメラ、４…動作機構部、５…コントローラ、６…映像解析部、７…投影映像処理部、８…制御部、１０…テーブル、１１…着席者、１２…ミラー、１３…個別演出映像、１４…識別マーク、１５，１６…部位、７０…着席者、７１…魚料理、７２…動画、７３…メニュー、７４…指先

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】