IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧

特開2023-174401情報処理装置、サーバ、情報処理方法、およびプログラム
<>
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図1
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図2
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図3
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図4
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図5
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図6
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図7
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図8
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図9
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図10
  • 特開-情報処理装置、サーバ、情報処理方法、およびプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023174401
(43)【公開日】2023-12-07
(54)【発明の名称】情報処理装置、サーバ、情報処理方法、およびプログラム
(51)【国際特許分類】
   G06T 7/55 20170101AFI20231130BHJP
【FI】
G06T7/55
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022087253
(22)【出願日】2022-05-27
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】綾 正洋
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA09
5L096CA04
5L096DA01
5L096FA69
(57)【要約】
【課題】簡易な構成にて3次元スキャンする技術を提供する。
【解決手段】複数の態様にて空間に光を照射する照射制御部(110)と、複数の態様のそれぞれに対応する複数の画像を取得する第1の取得部(121)と、複数の画像をサーバ(2)に出力する出力部(130)と、サーバ(2)から提供内容を取得する第2の取得部(122)と、提供内容を提供する提供部(140)と、を備える情報処理装置(1)。
【選択図】図1
【特許請求の範囲】
【請求項1】
当該情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、
前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する第1の取得部と、
前記複数の画像をサーバに出力する出力部と、
前記サーバから、前記空間におけるオブジェクトに関する提供内容を取得する第2の取得部と、
前記提供内容を提供する提供部と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記照射制御部は、
前記発光部の一部が発光するように前記発光部を制御し、
前記発光部が発光する部分を異ならせることにより、複数の態様にて前記空間に光を照射する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記発光部は、表示装置のバックライトであり、
前記照射制御部は、前記表示装置が表示するパターンを異ならせることにより、複数の態様にて前記空間に光を照射する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記提供内容は、前記空間および前記オブジェクトを上部から投影した平面図である
ことを特徴とする請求項1から3の何れか1項に記載の情報処理装置。
【請求項5】
前記提供内容は、前記空間および前記オブジェクトを3次元スキャンした3次元画像である
ことを特徴とする請求項1から3の何れか1項に記載の情報処理装置。
【請求項6】
前記提供内容は、前記空間におけるオブジェクトの位置を提案する情報である
ことを特徴とする請求項1から3の何れか1項に記載の情報処理装置。
【請求項7】
前記オブジェクトは、スピーカまたはマイクである
ことを特徴とする請求項5に記載の情報処理装置。
【請求項8】
空間に光を照射する発光部が複数の態様にて前記空間に光を照射し、当該複数の態様のそれぞれに対応する複数の画像であって、前記空間を撮像する撮像部によって撮像された複数の画像を取得する取得部と、
前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、
前記提供内容を出力する出力部と、
を備えるサーバ。
【請求項9】
前記生成部は、
前記複数の態様のそれぞれと、当該態様のそれぞれにおいて撮像された画像との対応関係に基づいて、前記空間および前記オブジェクトを3次元スキャンし、
3次元スキャンしたデータに基づいて、前記空間におけるオブジェクトに関する提供内容を生成する
ことを特徴とする請求項8に記載のサーバ。
【請求項10】
当該情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、
前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する取得部と、
前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、
前記提供内容を提供する提供部と、
を備える情報処理装置。
【請求項11】
情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射工程と、
前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する第1の取得工程と、
前記複数の画像をサーバに出力する出力工程と、
前記サーバから、前記空間におけるオブジェクトに関する提供内容を取得する第2の取得工程と、
前記提供内容を提供する提供工程と、
を含むことを特徴とする情報処理方法。
【請求項12】
空間に光を照射する発光部が複数の態様にて前記空間に光を照射し、当該複数の態様のそれぞれに対応する複数の画像であって、前記空間を撮像する撮像部によって撮像された複数の画像を取得する取得工程と、
前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成工程と、
前記提供内容を出力する出力工程と、
を含む情報処理方法。
【請求項13】
情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射工程と、
前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する取得工程と、
前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成工程と、
前記提供内容を提供する提供工程と、
を含む情報処理方法。
【請求項14】
情報処理装置としてコンピュータを機能させるためのプログラムであって、
前記プログラムは、コンピュータを、
前記情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、
前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する第1の取得部と、
前記複数の画像をサーバに出力する出力部と、
前記サーバから、前記空間におけるオブジェクトに関する提供内容を取得する第2の取得部と、
前記提供内容を提供する提供部と、
として機能させるプログラム。
【請求項15】
サーバとしてコンピュータを機能させるためのプログラムであって、
前記プログラムは、コンピュータを、
空間に光を照射する発光部が複数の態様にて前記空間に光を照射し、当該複数の態様のそれぞれに対応する複数の画像であって、前記空間を撮像する撮像部によって撮像された複数の画像を取得する取得部と、
前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、
前記提供内容を出力する出力部と、
として機能させるプログラム。
【請求項16】
情報処理装置としてコンピュータを機能させるためのプログラムであって、
前記プログラムは、コンピュータを、
前記情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、
前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する取得部と、
前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、
前記提供内容を提供する提供部と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、サーバ、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
建物内の部屋などの空間を3次元(3D)スキャンする技術が開示されている。
【0003】
特許文献1には、撮像カメラおよび深度カメラを備え、3Dスキャンに基づいて生成した3Dグリッド内のボクセルの鉛直投影を用いて、2D間取り図を生成する構成が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2020-518038号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の特許文献1の技術では、3Dスキャンにおいて撮像カメラおよび深度カメラを使用している。このような複眼カメラは精度が高いものの高価である。そのため、高精度な3Dスキャンしたデータを必要としないユーザからは、より簡易な構成にて3Dスキャンする技術が求められている。
【0006】
本発明の一態様は、上記課題に鑑みて成されたものであり、その目的は、簡易な構成にて3次元スキャンする技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、当該情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する第1の取得部と、前記複数の画像をサーバに出力する出力部と、前記サーバから、前記空間におけるオブジェクトに関する提供内容を取得する第2の取得部と、前記提供内容を提供する提供部と、を備える。
【0008】
上記の課題を解決するために、本発明の一態様に係るサーバは、空間に光を照射する発光部が複数の態様にて前記空間に光を照射し、当該複数の態様のそれぞれに対応する複数の画像であって、前記空間を撮像する撮像部によって撮像された複数の画像を取得する取得部と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、前記提供内容を出力する出力部と、を備える。
【0009】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、当該情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する取得部と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、前記提供内容を提供する提供部と、を備える。
【0010】
上記の課題を解決するために、本発明の一態様に係る情報処理方法は、情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射工程と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する第1の取得工程と、前記複数の画像をサーバに出力する出力工程と、前記サーバから、前記空間におけるオブジェクトに関する提供内容を取得する第2の取得工程と、前記提供内容を提供する提供工程と、を含む。
【0011】
上記の課題を解決するために、本発明の一態様に係る情報処理方法は、空間に光を照射する発光部が複数の態様にて前記空間に光を照射し、当該複数の態様のそれぞれに対応する複数の画像であって、前記空間を撮像する撮像部によって撮像された複数の画像を取得する取得工程と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成工程と、前記提供内容を出力する出力工程と、を含む。
【0012】
上記の課題を解決するために、本発明の一態様に係る情報処理方法は、情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射工程と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する取得工程と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成工程と、前記提供内容を提供する提供工程と、を含む。
【0013】
上記の課題を解決するために、本発明の一態様に係るプログラムは、情報処理装置としてコンピュータを機能させるためのプログラムであって、前記プログラムは、コンピュータを、前記情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する第1の取得部と、前記複数の画像をサーバに出力する出力部と、前記サーバから、前記空間におけるオブジェクトに関する提供内容を取得する第2の取得部と、前記提供内容を提供する提供部と、として機能させる。
【0014】
上記の課題を解決するために、本発明の一態様に係るプログラムは、サーバとしてコンピュータを機能させるためのプログラムであって、前記プログラムは、コンピュータを、空間に光を照射する発光部が複数の態様にて前記空間に光を照射し、当該複数の態様のそれぞれに対応する複数の画像であって、前記空間を撮像する撮像部によって撮像された複数の画像を取得する取得部と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、前記提供内容を出力する出力部と、として機能させる。
【0015】
上記の課題を解決するために、本発明の一態様に係るプログラムは、情報処理装置としてコンピュータを機能させるためのプログラムであって、前記プログラムは、コンピュータを、前記情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する取得部と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、前記提供内容を提供する提供部と、として機能させる。
【発明の効果】
【0016】
本発明の一態様によれば、簡易な構成にて3次元スキャンすることができる。
【図面の簡単な説明】
【0017】
図1】本発明の実施形態1に係る情報処理システムの構成を示すブロック図である。
図2】本発明の実施形態1に係る情報処理装置1が配置された空間の一例を示す図である。
図3】本発明の実施形態1に係る情報処理システムにおいて実行される処理の流れを示すフロー図である。
図4】本発明の実施形態1において情報処理装置が空間に光を照射する様子および撮像した画像の一例を示す図である。
図5】本発明の実施形態1において情報処理装置が空間に光を照射する様子および撮像した画像の他の例を示す図である。
図6】本発明の実施形態1に係る生成部が抽出したオブジェクトを示す画像の一例を示す図である。
図7】本発明の実施形態1に係る生成部が生成する平面図の一例を示す図である。
図8】本発明の実施形態1に係る生成部が生成する3次元画像の一例を示す図である。
図9】本発明の実施形態1に係る生成部が生成する提供内容の一例を示す図である。
図10】本発明の実施形態1に係る生成部が生成する提供内容の一例を示す図である。
図11】本発明の実施形態2に係るに係る情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【0018】
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
【0019】
(情報処理システム100の概要)
本実施形態に係る情報処理システム100について、図1を参照して説明する。図1は、本実施形態に係る情報処理システム100の構成を示すブロック図である。図1に示すように、情報処理システム100は、情報処理装置1およびサーバ2を含んで構成される。情報処理装置1の例として、TV(テレビジョン受像機)、スマートフォン、およびタブレットが挙げられる。
【0020】
情報処理装置1およびサーバ2は、ネットワークNを介して互いに通信可能に接続されている。ネットワークNの具体的構成は本実施形態を限定するものではないが、一例として、無線LAN(Local Area Network)、有線LAN、WAN(Wide Area Network)、公衆回線網、モバイルデータ通信網、または、これらのネットワークの組み合わせを用いることができる。
【0021】
情報処理システム100は、情報処理装置1が配置された空間におけるオブジェクトに関する提供内容をユーザに提供するシステムである。一例として、情報処理システム100では、情報処理装置1は、情報処理装置1が配置された空間を撮像した複数の画像を、サーバ2に出力する。サーバ2は、情報処理装置1から出力された複数の画像に基づき、情報処理装置1が配置された空間におけるオブジェクトに関する提供内容を生成する。
【0022】
「情報処理装置1が配置された空間におけるオブジェクト」とは、情報処理装置1が配置された3次元の空間(部屋)に配置されているオブジェクト、または情報処理装置1が配置された3次元の空間にこれから配置されるオブジェクトを指す。「オブジェクト」の種類は特に限定されないが、「オブジェクト」の例として、壁、床、天井、テーブル、ペットボトル、スピーカ、およびマイクなどが挙げられる。
【0023】
「提供内容」は、ユーザに提供される情報であれば特に限定されない。「提供内容」の一例として、情報処理システム100において認識された、情報処理装置1が配置された3次元の空間に関する情報、および当該情報に基づく提案が挙げられる。また、情報処理装置1が提供内容を提供する方法は限定されず、一例として、提供内容を表示するおよび提供内容を音声出力する、が挙げられる。
【0024】
(情報処理装置1の構成)
図1に示すように、情報処理装置1は、制御部10、通信部11、撮像部12、および表示部13を備えている。
【0025】
通信部11は、ネットワークNを介して接続されているサーバ2と通信する通信モジュールである。一例として、通信部11は、制御部10から供給されたデータをサーバ2に出力したり、サーバ2から出力されたデータを制御部10に供給したりする。
【0026】
撮像部12は、被写体を撮像するカメラである。一例として、撮像部12は、情報処理装置1が配置された空間を撮像する。撮像部12は、撮像した画像を制御部10に供給する。
【0027】
表示部13は、画像を表示する表示装置である。一例として、表示部13は、制御部10から供給された画像信号が示す画像を表示する。また、表示部13は、図1に示すように、発光部131を備えている。
【0028】
発光部131は、光を照射する発光源である。一例として、発光部131は、情報処理装置1が配置された空間に光を照射する。
【0029】
また、発光部131は、表示部13の表示画面全体、または表示画面の一部を後ろから照射する構成であってもよい。換言すると、発光部131は、表示部13のバックライトであってもよい。さらに、発光部131は、表示部13の表示画面の一部を後ろから照射する場合、表示部13の表示画面の異なる複数の部分を異なるタイミングでそれぞれ後ろから照射する構成であってもよい。すなわち、発光部131は、複数の態様にて発光してもよい。発光部131が発光する複数の態様の一例については後述する。
【0030】
また、発光部131は、情報処理装置1が備える構成に限定されない。発光部131は、情報処理装置1が配置された空間に光を照射する光源であって、情報処理装置1が制御可能な構成であればよい。
【0031】
(制御部10の機能)
制御部10は、情報処理装置1が備える各構成要素を制御する。また、制御部10は、図1に示すように、照射制御部110、取得部120、出力部130、および提供部140としても機能する。
【0032】
照射制御部110は、表示部13を制御する。一例として、照射制御部110は、発光部131を用いて、複数の態様にて情報処理装置1が配置された空間に光を照射する。例えば、照射制御部110は、発光部131の一部が発光するように発光部131を制御し、発光部131が発光する部分を異ならせることにより、複数の態様にて空間に光を照射する。
【0033】
また、発光部131が表示部13のバックライトの場合、照射制御部110は、表示部13が表示するパターンを異ならせることにより、複数の態様にて空間に光を照射してもよい。
【0034】
取得部120は、情報処理装置1が備える構成要素から供給されたデータを取得する。取得部120は、図1に示すように、第1の取得部121および第2の取得部122としても機能する。
【0035】
第1の取得部121は、撮像部12から供給された画像を取得する。一例として、第1の取得部121は、撮像部12によって撮像された複数の画像であって、複数の態様のそれぞれに対応する複数の画像を取得する。第1の取得部121は、取得した複数の画像を出力部130に供給する。
【0036】
第2の取得部122は、通信部11から供給されたデータを取得する。一例として、第2の取得部122は、サーバ2から、情報処理装置1が配置された空間におけるオブジェクトに関する提供内容を取得する。第2の取得部122は、取得した提供内容を提供部140に供給する。
【0037】
出力部130は、通信部11を介してデータを出力する。一例として、出力部130は、第1の取得部121から供給された複数の画像をサーバ2に出力する。
【0038】
提供部140は、ユーザに情報を提供する。一例として、提供部140は、第2の取得部122から供給された提供内容を、表示部13を介してユーザに提供する。また、提供部140は、図1には図示しないスピーカを介して、第2の取得部122から供給された提供内容を音声出力によってユーザに提供してもよい。
【0039】
(サーバ2の構成)
図1に示すように、サーバ2は、制御部20、サーバ通信部21、および記憶部22を備えている。
【0040】
サーバ通信部21は、ネットワークNを介して接続されている情報処理装置1と通信する通信モジュールである。一例として、サーバ通信部21は、制御部20から供給されたデータを情報処理装置1に出力したり、情報処理装置1から出力されたデータを制御部20に供給したりする。
【0041】
記憶部22には、制御部20が参照するデータが格納されている。記憶部22に格納されているデータの一例として、後述するリストおよび情報処理装置1から出力された画像が挙げられる。
【0042】
(制御部20の機能)
制御部20は、サーバ2が備える各構成要素を制御する。また、制御部20は、図1に示すように、サーバ取得部210(取得部)、生成部220、およびサーバ出力部230(出力部)としても機能する。
【0043】
サーバ取得部210は、サーバ通信部21から供給されたデータを取得する。一例として、サーバ取得部210は、発光部131が複数の態様にて空間に光を照射し、複数の態様のそれぞれに対応する複数の画像であって、撮像部12によって撮像された複数の画像を取得する。サーバ取得部210は、取得した複数の画像を記憶部22に格納する。
【0044】
生成部220は、情報処理装置1に出力する提供内容を生成する。一例として、生成部220は、記憶部22から複数の画像を取得し、当該複数の画像に基づき、情報処理装置1が配置された空間におけるオブジェクトに関する提供内容を生成する。より具体的には、生成部220は、複数の態様のそれぞれと、当該態様のそれぞれにおいて撮像された画像との対応関係に基づいて、画像における空間およびオブジェクトを3次元スキャンし、3次元スキャンしたデータに基づいて、空間におけるオブジェクトに関する提供内容を生成する。生成部220は、生成した提供内容をサーバ出力部230に供給する。生成部220の処理の一例について後述する。
【0045】
サーバ出力部230は、サーバ通信部21を介してデータを出力する。一例として、サーバ出力部230は、生成部220が生成した提供内容を情報処理装置1に出力する。また、サーバ出力部230は、情報処理装置1に替えてまたは加えて、所定の装置にデータを出力してもよい。一例として、サーバ出力部230は、所定のスマートフォンまたはタブレットに提供内容を出力してもよい。
【0046】
(情報処理装置1が配置された空間の一例)
情報処理装置1が配置された空間の一例を、図2に示す。図2は、本実施形態に係る情報処理装置1が配置された空間SPの一例を示す図である。
【0047】
図2に示すように、空間SPには、情報処理装置1が配置されている。また、空間SPには、情報処理装置1に加えて、オブジェクトであるテーブルOBJ1と、テーブルOBJ1上にペットボトルOBJ2が配置されている。また、壁OBJ3によって空間SPが形成されている。
【0048】
テーブルOBJ1とペットボトルOBJ2とは、情報処理装置1の表示画面の正面側に配置されている。換言すると、情報処理装置1の発光部131は、テーブルOBJ1とペットボトルOBJ2とが配置されている方向に向かって光を照射する。また、情報処理装置1の撮像部12は、空間SPの画像であって、テーブルOBJ1、ペットボトルOBJ2、および壁OBJ3を被写体として含む画像を撮像する。
【0049】
(情報処理システム100において実行される処理の流れ)
情報処理システム100において実行される処理の流れについて、図3を用いて説明する。図3は、本実施形態に係る情報処理システム100において実行される処理の流れを示すフロー図である。以下では、図2に示す空間SPに配置された情報処理装置1を含む情報処理システム100が実行された場合を例に挙げて説明する。
【0050】
(ステップS11)
ステップS11において、情報処理装置1の照射制御部110は、発光部131を用いて、所定の態様にて空間に光を照射する。照射制御部110が発光部131を用いて空間に光を照射する様子の一例について、図4を参照して説明する。図4は、本実施形態において情報処理装置1が空間SPに光を照射する様子および撮像した画像の一例を示す図である。
【0051】
照射制御部110は、表示部13の表示画面の領域を横方向に所定の数で分割し、分割された領域のうちの何れかから、空間SPに光を照射する。一例として、図4の左上に示すように、照射制御部110は、分割された領域のうち最も左の領域から、空間SPに光を照射する。分割する所定の数は特に限定されず、一例として、5分割、10分割などが挙げられる。
【0052】
図4の左上に示す図において、照射制御部110は一例として、分割された領域のうち最も左の領域から発光するように発光部131を制御してもよい。また、照射制御部110は他の例として、分割された領域のうち最も左の領域に白のパターンを表示、他の領域に黒のパターンを表示するように表示部13を制御してもよい。また、照射制御部110はさらに他の例として、分割された領域のうち最も左の領域から発光するように発光部131を制御し、かつ、分割された領域のうち最も左の領域に白のパターンを表示、他の領域に黒のパターンを表示するように表示部13を制御してもよい。当該構成は、照射制御部110が他の領域から光を照射する場合においても同様である。
【0053】
(ステップS12)
ステップS12において、第1の取得部121は、撮像部12によって撮像された画像を取得する。第1の取得部121は、取得した画像を出力部130に供給する。撮像部12によって撮像された画像の一例について、図4を参照して説明する。
【0054】
図4の左上に示すように照射制御部110が空間SPに光を照射している状態において撮像部12が空間SPを撮像した場合、第1の取得部121は、図4の右上に示す画像P1を取得する。図4の右上に示すように、画像P1には、テーブルOBJ1、ペットボトルOBJ2、および壁OBJ3が被写体として含まれている。また、画像P1では、光が照射されている右側が明るくなっており、ペットボトルOBJ2の影が、ペットボトルOBJ2の左側にできている。
【0055】
(ステップS13)
ステップS13において、照射制御部110は、全ての態様にて空間を照射したか否かを判定する。
【0056】
(ステップS14)
ステップS13において、全ての態様にて空間を照射していないと判定された場合(ステップS13:NO)、ステップS14において、照射制御部110は、光を照射する態様を変更する。
【0057】
一例として、照射制御部110は、直前の態様において光を照射した領域の隣の領域から空間SPに光を照射する態様に変更する。図4に示す例においては、図4の真ん中の左側に示すように、照射制御部110は、分割された領域のうち、左から2番目の領域から空間SPに光を照射する態様に変更する。
【0058】
そして、情報処理装置1は、変更後の態様での画像を取得するため、ステップS12の処理に戻る。再び実行されたステップS12では、第1の取得部121は、図4の真ん中の右側に示す画像P2を取得する。画像P2では、光が照射されて明るくなっている領域が画像P1とは異なっている。また、画像P2では、ペットボトルOBJ2の影が、画像P1とは異なった位置にできている。
【0059】
情報処理装置1は、全ての態様にて空間に光を照射するまで、ステップS12~ステップS14を繰り返す。すなわち、照射制御部110は、情報処理装置1が配置された空間に光を照射する発光部131を用いて、複数の態様にて空間に光を照射し、第1の取得部121は、撮像部12によって撮像された複数の画像であって、複数の態様のそれぞれに対応する複数の画像を取得する。
【0060】
図4に示す例では、照射制御部110は、図4の左下に示すように、分割された領域のうち最も右側の領域から空間SPに光を照射する態様に変更するまで、ステップS12~ステップS14を繰り返す。照射制御部110が分割された領域のうち最も右側の領域から空間SPに光を照射した場合、第1の取得部121は、図4の右下に示す画像P5を取得する。図4の右下に示すように、画像P5では、光が照射されている左側が明るくなっており、ペットボトルOBJ2の影が、ペットボトルOBJ2の右側にできている。
【0061】
また、照射制御部110は、表示部13の表示画面の領域の縦方向も同様に所定の数で分割し、分割された複数の領域のそれぞれから、空間SPに光を照射する。照射制御部110が発光部131を用いて空間に光を照射する様子の他の例について、図5を参照して説明する。図5は、本実施形態において情報処理装置1が空間SPに光を照射する様子および撮像した画像の他の例を示す図である。
【0062】
照射制御部110は一例として、図5の左上に示すように、分割された領域のうち最も上の領域から、空間SPに光を照射する。分割する所定の数は特に限定されず、一例として、5分割、10分割などが挙げられる。
【0063】
図5の左上に示すように照射制御部110が空間SPに光を照射している状態において撮像部12が空間SPを撮像した場合、第1の取得部121は、図5の右上に示す画像P6を取得する。図5の右上に示すように、画像P6には、テーブルOBJ1、ペットボトルOBJ2、および壁OBJ3が被写体として含まれている。また、画像P6では、光が照射されている奥側が明るくなっており、ペットボトルOBJ2の影が、ペットボトルOBJ2の奥側に短くできている。
【0064】
次に、照射制御部110は、全ての態様にて光を照射するまで、光を照射する態様を変更する。一例として、照射制御部110は、直前の態様において光を照射した領域の隣の領域から空間SPに光を照射する態様に変更する。図5に示す例においては、図5の真ん中の左側に示すように、照射制御部110は、分割された領域のうち、上から2番目の領域から空間SPに光を照射する態様に変更する。
【0065】
図5の真ん中の左側に示すように照射制御部110が空間SPに光を照射している状態において撮像部12が空間SPを撮像した場合、第1の取得部121は、図5の真ん中の右側に示す画像P7を取得する。図5の真ん中の右側に示すように、画像P7では、光が照射された明るくなっている領域が画像P6とは異なっている。また、画像P7ではペットボトルOBJ2の影が、画像P6とは異なった長さでできている。
【0066】
最後に、照射制御部110は、図5の左下に示すように、分割された領域のうち最も下の領域から光を照射する。この場合、第1の取得部121は、図5の右下に示す画像P10を取得する。図5の右下に示すように、画像P10では、光が照射されている手前側が明るくなっており、ペットボトルOBJ2の影の長さが、画像P6および画像P7におけるペットボトルOBJ2の影の長さに比べて長くなっている。
【0067】
(ステップS15)
一方、ステップS13において、全ての態様にて空間を照射したと判定された場合(ステップS13:YES)、ステップS15において、出力部130は、第1の取得部121から供給された複数の画像(画像P1~画像P10)を、通信部11を介してサーバ2に出力する。
【0068】
(ステップS16)
ステップS16において、サーバ2のサーバ取得部210は、サーバ通信部21を介して、情報処理装置1から出力された複数の画像を取得する。サーバ取得部210は、取得した複数の画像を記憶部22に格納する。
【0069】
(ステップS17)
ステップS17において、生成部220は、記憶部22に格納されている複数の画像を取得し、当該複数の画像に基づき、情報処理装置1が配置された空間におけるオブジェクトに関する提供内容を生成する。生成部220がステップS17において実行する処理の例については後述する。
【0070】
(ステップS18)
ステップS18において、生成部220は、ステップS17において生成された提供内容を、サーバ通信部21を介して情報処理装置1に出力する。
【0071】
(ステップS19)
ステップS19において、情報処理装置1の第2の取得部122は、通信部11を介して、サーバ2から出力された提供内容を取得する。第2の取得部122は、取得した提供内容を提供部140に供給する。
【0072】
(ステップS20)
ステップS20において、提供部140は、第2の取得部122から供給された提供内容をユーザに提供する。提供部140がユーザに提供する提供内容の一例について、後述する。
【0073】
(生成部220がオブジェクトを抽出する処理の一例)
生成部220が実行する、画像に被写体として含まれるオブジェクトを抽出する処理の一例について、説明する。
【0074】
生成部220が画像に被写体として含まれるオブジェクトを抽出する方法は限定されず、既知の方法が用いられ得る。一例として、ルールベースアルゴリズムを用いてオブジェクトを抽出する方法が挙げられる。他の例として、CNN(Convolutional Neural Network)を用いた画像認識によってオブジェクトを抽出する方法が挙げられる。
【0075】
(生成部220がオブジェクトの形状、大きさ、および位置を算出する処理の一例)
生成部220が実行する、オブジェクトの形状、大きさ、および位置を算出する処理の一例について、説明する。
【0076】
生成部220は、上述した方法によってオブジェクトを抽出すると、次に、抽出したオブジェクトの形状、大きさ、および位置を算出する。一例として、生成部220は、複数の態様のそれぞれと、当該態様のそれぞれにおいて撮像された画像との対応関係に基づいて、複数の画像のそれぞれにおける光の強度およびオブジェクトに対する光の反射角を算出する。そして、生成部220は、算出した複数の画像のそれぞれにおける光の強度およびオブジェクトに対する光の反射角の差異に基づき、抽出したオブジェクトの形状、大きさ、および位置を算出する。
【0077】
まず、生成部220が複数の画像のそれぞれにおける光の強度およびオブジェクトに対する光の反射角を算出する構成の一例として、生成部220は、画像にタグ付けされている情報であって、撮像された態様を示す情報を参照する。例えば、上述した図4において、画像P1にタグ付けされている情報が、撮像された態様は図4の左上に示す態様(表示画面の領域を横方向に所定の数で分割された複数の領域のうち、最も左の領域から光を照射する態様)であることを示す場合、生成部220は、画像P1は右方向から光が照射された場合として、光の強度およびオブジェクトに対する光の反射角を算出する。なお、当該構成は、情報処理装置1が撮像した画像に、態様を示す情報をタグ付けすることにより、実現可能である。
【0078】
また、他の例として、生成部220は、画像の画素値から光が照射される方向を推定し、推定結果に基づいて、光の強度およびオブジェクトに対する光の反射角を算出してもよい。例えば、画像P1では右側の画素値が高い(換言すると、画像P1の右側が明るい)ので、生成部220は、右方向から光が照射された場合として、光の強度およびオブジェクトに対する光の反射角を算出する。
【0079】
次に、生成部220は、算出した光の強度およびオブジェクトに対する光の反射角に基づき、抽出したオブジェクトの形状、大きさ、および位置を算出する。
【0080】
例えば、生成部220は、画像P1~画像P10のそれぞれにおける光が照射された方向と、光の強度およびオブジェクトに対する光の反射角の差異とに基づき、抽出したオブジェクトの形状、大きさ、および位置を算出する。
【0081】
上述したように、画像P1~画像P10では、明るい領域(画素値が高い領域)、暗い領域(画素値が低い領域)、ペットボトルOBJ2の影の向き、ペットボトルOBJ2の影の大きさ、およびペットボトルOBJ2の影の暗さがそれぞれ異なっている。そのため、生成部220は、光が照射される向きとこれらの違いとに基づき、オブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置を算出する。
【0082】
また、生成部220は、抽出したオブジェクトの形状、大きさ、および位置を算出する方法の他の例として、複数の画像を入力として、当該複数の画像に含まれるオブジェクトの形状、大きさ、および位置を推定するよう学習済の学習済モデルに、記憶部22に格納されている複数の画像を入力する構成であってもよい。当該構成では、画像と、当該画像に被写体として含まれるオブジェクトの形状、大きさ、および位置とを組とする複数の教師データを用いて学習済モデルを学習させる。
【0083】
また、生成部220は、オブジェクトを抽出する処理において、空間を上部から投影した間取り図を参照する構成であってもよい。間取り図は、一例として、不動産屋が管理する部屋の間取り図が挙げられる。当該構成により、生成部220は、空間を形成するオブジェクトである壁の抽出が容易になるため、精度高くオブジェクトを抽出することができる。また、生成部220は、光の強度およびオブジェクトに対する光の反射角を算出が容易になるため、精度高くオブジェクトの形状、大きさ、および位置を算出することができる。
【0084】
また、生成部220は、情報処理装置1が配置されている位置および状態を示す情報をさらに参照する構成であってもよい。一例として、生成部220は、部屋の間取り図において情報処理装置1が配置されている位置および情報処理装置1の向き(撮像部12が撮像する向き)を示す情報を参照する構成が挙げられる。当該構成により、生成部220は、精度高くオブジェクトの抽出、ならびにオブジェクトの形状、大きさ、および位置を算出することができる。
【0085】
生成部220が抽出したオブジェクト、ならびに抽出したオブジェクトの形状、大きさ、および位置を示す画像の一例を図6に示す。図6は、本実施形態に係る生成部220が抽出したオブジェクトを示す画像P11の一例を示す図である。図6に示すように、生成部220は、テーブルOBJ1、ペットボトルOBJ2、および壁OBJ3を抽出し、テーブルOBJ1、ペットボトルOBJ2、および壁OBJ3のそれぞれの形状、大きさ、および位置を算出する。
【0086】
(生成部220が提供内容を生成する処理の例1)
生成部220が実行する、提供内容を生成する処理の一例について、以下に説明する。
【0087】
生成部220は、提供内容として、画像における空間およびオブジェクトを上部から投影した平面図を生成してもよい。一例として、生成部220は、上述した方法によってオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置を算出する。そして、生成部220は、算出したオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置に基づき、平面図を生成する。平面図の一例について、図7を参照して説明する。図7は、本実施形態に係る生成部220が生成する平面図PC1の一例を示す図である。
【0088】
図7に示すように、生成部220は、算出したテーブルOBJ1、ペットボトルOBJ2、および壁OBJ3それぞれの形状、大きさ、および位置に基づき、平面図PC1を生成する。また、生成部220は、図7に示すように、平面図PC1に情報処理装置1を含めてもよい。
【0089】
このように、生成部220は、画像における空間およびオブジェクトを3次元スキャンし、空間およびオブジェクトを上部から投影した平面図を、提供内容として生成する。したがって、生成部220は、単眼カメラである撮像部12が撮像した画像に基づいて3次元スキャンし、平面図を生成するので、簡易な構成にて3次元スキャンしたデータに基づき、平面図を提供することができる。
【0090】
(生成部220が提供内容を生成する処理の例2)
生成部220が実行する、提供内容を生成する処理の他の例について、以下に説明する。
【0091】
生成部220は、提供内容として、画像における空間およびオブジェクトを3次元スキャンした3次元画像を生成してもよい。一例として、生成部220は、上述した方法によってオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置を算出する。そして、生成部220は、算出したオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置に基づき、3次元画像を生成する。3次元画像の一例について、図8を参照して説明する。図8は、本実施形態に係る生成部220が生成する3次元画像PC2の一例を示す図である。
【0092】
図8に示すように、生成部220は、算出したテーブルOBJ1、ペットボトルOBJ2、および壁OBJ3の形状、ペットボトルOBJ2の大きさ、およびペットボトルOBJ2の位置に基づき、3次元画像を生成する。また、生成部220は、図8に示すように、3次元画像PC2に情報処理装置1を含めてもよい。
【0093】
このように、生成部220は、画像における空間およびオブジェクトを3次元スキャンした3次元画像を、提供内容として生成する。したがって、生成部220は、単眼カメラである撮像部12が撮像した画像に基づいて3次元スキャンした3次元画像を生成するので、簡易な構成にて3次元スキャンしたデータに基づき、3次元画像を提供することができる。
【0094】
(生成部220が提供内容を生成する処理の例3)
生成部220が実行する、提供内容を生成する処理のさらに他の例について、以下に説明する。
【0095】
生成部220は、提供内容として、空間におけるオブジェクトの位置を提案する提供内容を生成してもよい。一例として、生成部220は、空間におけるスピーカの位置を提案する提供内容を生成してもよい。
【0096】
当該構成では、生成部220はまず、上述した方法によってオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置を算出する。次に、生成部220は、算出したオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置に基づき、スピーカを配置可能な位置を特定する。そして、生成部220は、特定した位置にスピーカを配置するよう提案する提供内容を生成する。特定した位置にスピーカを配置するよう提案する提供内容の一例について、図9を参照して説明する。図9は、本例示的実施形態に係る生成部220が生成する提供内容PC3の一例を示す図である。
【0097】
図9に示すように、生成部220は、テーブルOBJ1、ペットボトルOBJ2、および壁OBJ3を含む3次元画像に、提案するスピーカの位置にスピーカSPK1~スピーカSPK4を配置した提供内容PC3を生成する。
【0098】
ここで、生成部220がスピーカの位置を特定する方法の一例として、生成部220は、スピーカから出力された音がオブジェクトによってどのように反響するのかを考慮して、スピーカの位置を特定してもよい。例えば、生成部220は、スピーカから出力される音が立体的に聞こえるようなスピーカの位置を特定し、特定した位置にスピーカを配置するよう提案する提供内容を生成してもよい。他の例として、生成部220は、スピーカから出力された音が他のオブジェクトによって遮られない位置を特定し、特定した位置にスピーカを配置するよう提案する提供内容を生成してもよい。
【0099】
また、生成部220がスピーカの位置を特定する方法の他の例として、生成部220は、記憶部22に格納されているリストを参照して、スピーカの位置を特定してもよい。記憶部22に格納されているリストの一例として、オブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置と、スピーカの位置とを関連付けたリストが挙げられる。生成部220は、記憶部22に格納されているリストを参照し、算出したオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置に関連付けられたスピーカの位置を提案する提供内容を生成する。
【0100】
また、生成部220は、3次元画像を入力として、当該3次元画像におけるスピーカの適切な位置を推定するよう学習済の学習済モデルに、上述した方法によって生成した3次元画像を入力する構成であってもよい。当該構成において、生成部220は、学習済モデルから出力されたスピーカの位置を提案する提供内容を生成する。当該構成では、3次元画像と、当該3次元画像におけるスピーカ位置とを組とする複数の教師データを用いて、学習済モデルを学習させる。
【0101】
このように、生成部220は、画像における空間およびオブジェクトを3次元スキャンし、空間におけるスピーカの位置を提案する情報である提供内容を生成する。したがって、生成部220は、単眼カメラである撮像部12が撮像した画像に基づいて、スピーカ位置を提案するので、簡易な構成にて3次元スキャンしたデータに基づき、スピーカ位置を提案することができる。
【0102】
(生成部220が提供内容を生成する処理の例4)
生成部220が実行する、提供内容を生成する処理のさらに他の例について、以下に説明する。
【0103】
生成部220は、提供内容として、空間におけるオブジェクトの位置を提案する提供内容を生成してもよい。一例として、生成部220は、空間におけるマイクの位置を提案する提供内容を生成してもよい。
【0104】
当該構成において、生成部220はまず、上述した方法によってオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置を算出する。次に、生成部220は、算出したオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置に基づき、マイクを配置可能な位置を特定する。そして、生成部220は、特定した位置にマイクを配置するよう提案する提供内容を生成する。特定した位置にマイクを配置するよう提案する提供内容の一例について、図10を参照して説明する。図10は、本例示的実施形態に係る生成部220が生成する提供内容PC4の一例を示す図である。
【0105】
図10に示すように、生成部220は、テーブルOBJ1、ペットボトルOBJ2、および壁OBJ3を含む3次元画像に、提案するマイクの位置にマイクMKを配置した提供内容PC4を生成する。
【0106】
ここで、生成部220がマイクの位置を特定する方法の一例として、生成部220は、情報処理装置1から出力された音がオブジェクトによってどのように反響するのかを考慮して、スピーカの位置を特定してもよい。一例として、生成部220は、情報処理装置1から出力された音が影響しない位置を特定し、特定した位置にマイクを配置するよう提案する提供内容を生成してもよい。他の例として、マイクと情報処理装置1とが無線通信する場合、生成部220は、他の無線通信の電波に当該無線通信の電波が干渉されない位置を特定し、特定した位置にマイクを配置するよう提案する提供内容を生成してもよい。また、生成部220は、情報処理装置1と無線通信可能な範囲を特定し、特定した範囲内にマイクを配置するよう提案する提供内容を生成してもよい。
【0107】
また、生成部220がマイクの位置を特定する方法の他の例として、上述したスピーカの場合と同様、リストを参照する構成または学習済モデルを用いる構成であってもよい。
【0108】
リストを参照する構成の場合、生成部220は、オブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置と、マイクの位置とを関連付けたリストを参照する。学習済モデルを用いる場合、生成部220は、3次元画像を入力として、当該3次元画像におけるマイクの適切な位置を推定するよう学習済の学習モデルに、上述した方法によって生成した3次元画像を入力する。当該構成では、3次元画像と、当該3次元画像におけるマイク位置とを組とする複数の教師データを用いて、学習済モデルを学習させる。
【0109】
このように、生成部220は、画像における空間およびオブジェクトを3次元スキャンし、空間におけるマイクの位置を提案する情報である提供内容を生成する。したがって、生成部220は、単眼カメラである撮像部12が撮像した画像に基づいて、マイク位置を提案するので、簡易な構成にて3次元スキャンしたデータに関する情報を提供することができる。
【0110】
(生成部220が提供内容を生成する処理の例5)
生成部220が実行する、提供内容を生成する処理のさらに他の例について、以下に説明する。
【0111】
生成部220は、提供内容として、空間におけるオブジェクトの位置を提案する提供内容を生成してもよい。一例として、生成部220は、空間に配置されているオブジェクトの位置の変更を提案する提供内容を生成してもよい。
【0112】
当該構成において、生成部220はまず、上述した方法によってオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置を算出する。次に、生成部220は、算出したオブジェクトの形状、オブジェクトの大きさ、およびオブジェクトの位置に基づき、空間においてユーザが動くときに通る経路を推定する。そして、生成部220は、特定した経路上にオブジェクトが配置されている場合、当該オブジェクトの位置を変更するよう提案する提供内容を生成する。
【0113】
例えば、部屋の出入り口とソファとの間にテーブルが配置されている場合、生成部220は、テーブルの位置を、部屋の出入り口とソファとの間にならないように提案する提供内容を生成する。
【0114】
このように、生成部220は、画像における空間およびオブジェクトを3次元スキャンし、空間におけるオブジェクトの位置を変更することを提案する情報である提供内容を生成する。したがって、生成部220は、単眼カメラである撮像部12が撮像した画像に基づいて、空間におけるユーザの動線を確保するようにオブジェクトの位置を変更することを提案するので、簡易な構成にて3次元スキャンしたデータに関する情報を提供することができる。
【0115】
(生成部220が提供内容を生成する処理の例5)
情報処理システム100は、サーバ2と複数の情報処理装置1とを含んで構成されてもよい。この場合、サーバ2は、複数の情報処理装置1のそれぞれから、撮像された複数の画像を取得する構成であってもよい。
【0116】
当該構成では、サーバ2は、複数の情報処理装置1のそれぞれから取得した複数の画像を3次元スキャンする。そして、サーバ2は、3次元スキャンした結果に基づき、複数の情報処理装置1の少なくとも1つに、提供内容を出力する。
【0117】
一例として、サーバ2は、3次元スキャンした結果、複数の情報処理装置1のうち所定の割合(例えば、20%)以上の情報処理装置1から取得した画像に、同じオブジェクトが含まれる場合、当該オブジェクトが含まれない画像を出力した1または複数の情報処理装置1に、当該オブジェクトを配置することを提案してもよい。当該構成によりサーバ2は、例えば、人気のある商品の購入を、当該商品を持っていないユーザに提案することができる。したがって、情報処理システム100は、複数の情報処理装置1から取得した画像に基づいて、ユーザに適切な提案をすることができる。
【0118】
このように、本実施形態に係る情報処理システム100においては、情報処理装置1は、情報処理装置1が配置された空間に光を照射する発光部131を用いて、複数の態様にて空間に光を照射する照射制御部110と、空間を撮像する撮像部12によって撮像された複数の画像であって、複数の態様のそれぞれに対応する複数の画像を取得する第1の取得部121と、複数の画像をサーバ2に出力する出力部130と、サーバ2から、空間におけるオブジェクトに関する提供内容を取得する第2の取得部122と、提供内容を提供する提供部140と、を備える。
【0119】
また、サーバ2は、空間に光を照射する発光部131が複数の態様にて空間に光を照射し、複数の態様のそれぞれに対応する複数の画像であって、空間を撮像する撮像部12によって撮像された複数の画像を取得するサーバ取得部210と、複数の画像に基づき、空間におけるオブジェクトに関する提供内容を生成する生成部220と、提供内容を出力するサーバ出力部230と、を備える。
【0120】
そのため、本実施形態に係る情報処理システム100においては、単眼カメラである撮像部12が撮像した画像に基づいて3次元スキャンするので、簡易な構成にて3次元スキャンすることができる。また、本実施形態に係る情報処理システム100においては、3次元スキャンした結果に基づき、ユーザに提供内容を提供するので、簡易な構成にて3次元スキャンしたデータに関する情報を提供することができる。
【0121】
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0122】
(情報処理装置1Aの概要)
本実施形態に係る情報処理装置1Aについて、図11を参照して説明する。図11は、本実施形態に係る情報処理装置1Aの構成を示すブロック図である。
【0123】
情報処理装置1Aは、上述した実施形態に係る情報処理システム100において実行される処理を実行する装置である。換言すると、情報処理装置1Aは、上述した実施形態に係る情報処理システム100における情報処理装置1およびサーバ2の構成を備えて装置である。
【0124】
(情報処理装置1Aの構成)
図11に示すように、情報処理装置1は、制御部10A、撮像部12、および表示部13を備えている。撮像部12および表示部13については、上述した通りである。
【0125】
制御部10Aは、情報処理装置1Aが備える各構成要素を制御する。また、制御部10Aは、図11に示すように、照射制御部110、第1の取得部121、提供部140、および生成部220としても機能する。
【0126】
照射制御部110については、上述した通りである。
【0127】
第1の取得部121は、撮像部12供給された画像を取得する。一例として、第1の取得部121は、撮像部12によって撮像された複数の画像であって、複数の態様のそれぞれに対応する複数の画像を取得する。第1の取得部121は、取得した複数の画像を生成部220に供給する。
【0128】
生成部220は、ユーザに提供する提供内容を生成する。一例として、生成部220は、第1の取得部121から供給された複数の画像を取得し、当該複数の画像に基づき、情報処理装置1Aが配置された空間におけるオブジェクトに関する提供内容を生成する。生成部220が実行する処理については、上述した通りである。生成部220は、生成した提供内容を提供部140に供給する。
【0129】
提供部140は、ユーザに情報を提供する。一例として、提供部140は、生成部220から供給された提供内容を、表示部13を介してユーザに提供する。また、提供部140は、図11には図示しないスピーカを介して、生成部220から供給された提供内容をユーザに提供してもよい。
【0130】
このように、本実施形態に係る情報処理装置1Aは、情報処理装置1Aが配置された空間に光を照射する発光部131を用いて、複数の態様にて空間に光を照射する照射制御部110と、空間を撮像する撮像部12によって撮像された複数の画像であって、複数の態様のそれぞれに対応する複数の画像を取得する第1の取得部121と、複数の画像に基づき、空間におけるオブジェクトに関する提供内容を生成する生成部220と、提供内容を提供する提供部140と、を備える。
【0131】
そのため、本実施形態に係る情報処理装置1Aは、単眼カメラである撮像部12が撮像した画像に基づいて3次元スキャンするので、簡易な構成にて3次元スキャンすることができる。また、本実施形態に係る情報処理装置1Aは、3次元スキャンした結果に基づき、ユーザに提供内容を提供するので、簡易な構成にて3次元スキャンしたデータに関する情報を提供することができる。
【0132】
〔ソフトウェアによる実現例〕
情報処理装置1、1A、サーバ2(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御部10、10A、20に含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
【0133】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0134】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0135】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0136】
また、上記各実施形態で説明した各処理は、AI(Artificial Intelligence:人工知能)に実行させてもよい。この場合、AIは上記制御装置で動作するものであってもよいし、他の装置(例えばエッジコンピュータまたはクラウドサーバ等)で動作するものであってもよい。
【0137】
〔まとめ〕
本発明の態様1に係る情報処理装置(1)は、当該情報処理装置(1)が配置された空間に光を照射する発光部(131)を用いて、複数の態様にて前記空間に光を照射する照射制御部(110)と、前記空間を撮像する撮像部(12)によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する第1の取得部(121)と、前記複数の画像をサーバ(2)に出力する出力部(130)と、前記サーバ(2)から、前記空間におけるオブジェクトに関する提供内容を取得する第2の取得部(122)と、前記提供内容を提供する提供部(140)と、を備える。
【0138】
上記の構成によれば、簡易な構成にて3次元スキャンすることができる。
【0139】
本発明の態様2に係る情報処理装置(1)において、上記態様1における前記照射制御部(110)は、前記発光部(131)の一部が発光するように前記発光部(131)を制御し、前記発光部(131)が発光する部分を異ならせることにより、複数の態様にて前記空間に光を照射してもよい。
【0140】
上記の構成によれば、複数の態様にて発光部から光を照射させることができる。
【0141】
本発明の態様3に係る情報処理装置(1)において、上記態様1または2における前記発光部(131)は、表示装置のバックライトであり、前記照射制御部(110)は、前記表示装置が表示するパターンを異ならせることにより、複数の態様にて前記空間に光を照射してもよい。
【0142】
上記の構成によれば、複数の態様にて表示装置から光を照射されることができる。
【0143】
本発明の態様4に係る情報処理装置(1)において、上記態様1~3における前記提供内容は、前記空間および前記オブジェクトを上部から投影した平面図であってもよい。
【0144】
上記の構成によれば、簡易な構成にて3次元スキャンしたデータに基づき、平面図を提供することができる。
【0145】
本発明の態様5に係る情報処理装置(1)において、上記態様1~4における前記提供内容は、前記空間および前記オブジェクトを3次元スキャンした3次元画像であってもよい。
【0146】
上記の構成によれば、簡易な構成にて3次元スキャンしたデータに基づき、3次元画像を提供することができる。
【0147】
本発明の態様6に係る情報処理装置(1)において、上記態様1~5における前記提供内容は、前記空間におけるオブジェクトの位置を提案する情報であってもよい。
【0148】
上記の構成によれば、簡易な構成にて3次元スキャンしたデータに基づき、オブジェクトの位置を提案することができる。
【0149】
本発明の態様7に係る情報処理装置(1)において、上記態様6における前記オブジェクトは、スピーカまたはマイクであってもよい。
【0150】
上記の構成によれば、簡易な構成にて3次元スキャンしたデータに基づき、スピーカまたはマイクの位置を提案することができる。
【0151】
本発明の態様8に係るサーバ(2)は、空間に光を照射する発光部(131)が複数の態様にて前記空間に光を照射し、当該複数の態様のそれぞれに対応する複数の画像であって、前記空間を撮像する撮像部(12)によって撮像された複数の画像を取得する取得部(サーバ取得部210)と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部(220)と、前記提供内容を出力する出力部(サーバ出力部230)と、を備える。
【0152】
上記の構成によれば、簡易な構成にて3次元スキャンすることができる。
【0153】
本発明の態様9に係る情報処理装置(1)において、上記態様8に係る前記生成部(220)は、前記複数の態様のそれぞれと、当該態様のそれぞれにおいて撮像された画像との対応関係に基づいて、前記空間および前記オブジェクトを3次元スキャンし、3次元スキャンしたデータに基づいて、前記空間におけるオブジェクトに関する提供内容を生成してもよい。
【0154】
上記の構成によれば、簡易な構成にて3次元スキャンしたデータに基づいて、提供内容を生成することができる。
【0155】
本発明の態様10に係る情報処理装置(1A)は、当該情報処理装置(1A)が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部(110)と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する取得部(121)と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部(220)と、前記提供内容を提供する提供部(140)と、を備える。
【0156】
上記の構成によれば、簡易な構成にて3次元スキャンすることができる。
【0157】
本発明の態様11に係る情報処理方法は、情報処理装置(1)が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射工程と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する第1の取得工程と、前記複数の画像をサーバに出力する出力工程と、前記サーバから、前記空間におけるオブジェクトに関する提供内容を取得する第2の取得工程と、前記提供内容を提供する提供工程と、を含む。
【0158】
上記の構成によれば、簡易な構成にて3次元スキャンすることができる。
【0159】
本発明の態様12に係る情報処理方法は、空間に光を照射する発光部が複数の態様にて前記空間に光を照射し、当該複数の態様のそれぞれに対応する複数の画像であって、前記空間を撮像する撮像部によって撮像された複数の画像を取得する取得工程と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成工程と、前記提供内容を出力する出力工程と、を含む。
【0160】
上記の構成によれば、簡易な構成にて3次元スキャンすることができる。
【0161】
本発明の態様13に係る情報処理方法は、情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射工程と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する取得工程と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成工程と、前記提供内容を提供する提供工程と、を含む。
【0162】
上記の構成によれば、簡易な構成にて3次元スキャンすることができる。
【0163】
本発明の態様14に係るプログラムは、情報処理装置(1)としてコンピュータを機能させるためのプログラムであって、前記プログラムは、コンピュータを、前記情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する第1の取得部と、前記複数の画像をサーバに出力する出力部と、前記サーバから、前記空間におけるオブジェクトに関する提供内容を取得する第2の取得部と、前記提供内容を提供する提供部と、として機能させる。
【0164】
上記の構成によれば、簡易な構成にて3次元スキャンすることができる。
【0165】
本発明の態様15に係るプログラムは、サーバ(2)としてコンピュータを機能させるためのプログラムであって、前記プログラムは、コンピュータを、空間に光を照射する発光部が複数の態様にて前記空間に光を照射し、当該複数の態様のそれぞれに対応する複数の画像であって、前記空間を撮像する撮像部によって撮像された複数の画像を取得する取得部と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、前記提供内容を出力する出力部と、として機能させる。
【0166】
上記の構成によれば、簡易な構成にて3次元スキャンすることができる。
【0167】
本発明の態様16に係るプログラムは、情報処理装置(1)としてコンピュータを機能させるためのプログラムであって、前記プログラムは、コンピュータを、前記情報処理装置が配置された空間に光を照射する発光部を用いて、複数の態様にて前記空間に光を照射する照射制御部と、前記空間を撮像する撮像部によって撮像された複数の画像であって、前記複数の態様のそれぞれに対応する複数の画像を取得する取得部と、前記複数の画像に基づき、前記空間におけるオブジェクトに関する提供内容を生成する生成部と、前記提供内容を提供する提供部と、として機能させる。
【0168】
上記の構成によれば、簡易な構成にて3次元スキャンすることができる。
【0169】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0170】
1、1A 情報処理装置
2 サーバ
10、10A、20 制御部
12 撮像部
13 表示部
100 情報処理システム
110 照射制御部
121 第1の取得部
122 第2の取得部
130 出力部
131 発光部
140 提供部
210 サーバ取得部(取得部)
220 生成部
230 サーバ出力部(出力部)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11