IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アーバンベース インコーポレイテッドの特許一覧

特表2023-553638強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法
<>
  • 特表-強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法 図1
  • 特表-強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法 図2
  • 特表-強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法 図3
  • 特表-強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法 図4A
  • 特表-強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法 図4B
  • 特表-強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法 図4C
  • 特表-強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法 図5
  • 特表-強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法 図6
  • 特表-強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-25
(54)【発明の名称】強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法
(51)【国際特許分類】
   G06Q 50/08 20120101AFI20231218BHJP
【FI】
G06Q50/08
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023535888
(86)(22)【出願日】2021-12-22
(85)【翻訳文提出日】2023-06-13
(86)【国際出願番号】 KR2021019629
(87)【国際公開番号】W WO2022139469
(87)【国際公開日】2022-06-30
(31)【優先権主張番号】10-2020-0181469
(32)【優先日】2020-12-23
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】522276574
【氏名又は名称】アーバンベース インコーポレイテッド
【氏名又は名称原語表記】URBANBASE INC.
【住所又は居所原語表記】11th floor,17,Seocho-daero 77-gil,Seocho-gu,Seoul,Republic of Korea
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】キム、ソ ミン
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC07
(57)【要約】
【課題】本発明は、強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法を提供する。
【解決手段】本発明の一実施例による事物配置モデル提供方法は、仮想空間の状態を構成する変数、仮想空間の変数を変化させる制御動作、仮想空間内制御動作の対象になる事物であるエージェント、所定変数が他の変数に対して及ぼす影響を定義した政策、強化学習の対象になる学習環境を生成する段階と、補償を予測する価値関数を学習させる第1神経網を生成する段階と、遂行可能な制御動作によって変更されるそれぞれの状態に対する価値関数の予測値を基礎で、遂行可能な制御動作のうちで最終的に蓄積される補償を最大化する制御動作を判別する政策関数を学習させる第2神経網を生成する段階と、及び第1神経網及び第2神経網の費用関数が最小になる方向に強化学習を遂行する段階と、を含むことができる。
【選択図】図1
【特許請求の範囲】
【請求項1】
事物配置モデル提供装置において、
所定の動作を遂行するようにする命令語らを保存する一つ以上のメモリーと、及び前記一つ以上のメモリーと動作可能になるように連結されて前記命令語らを実行するように設定された一つ以上のプロセッサを含み、
前記プロセッサが遂行する動作は、
インテリアーサービスが提供する仮想空間の状態を構成する変数、前記仮想空間の変数を変化させる制御動作、前記仮想空間に配置されて前記制御動作の対象になる事物であるエージェント、所定変数が他の変数に対して及ぼす影響を定義した政策、前記制御動作によって変更された仮想空間の状態を基礎に評価される補償を設定して強化学習の対象になる学習環境を生成する動作と、
前記学習環境が有することができるそれぞれの状態で所定の制御動作を実行することによって達成するようになる補償を予測する価値関数を学習させる第1神経網を生成する段階と、
前記学習環境が有することができるそれぞれの状態で遂行可能な制御動作によって変更されるそれぞれの状態に対する前記価値関数の予測値を基礎で、前記遂行可能な制御動作のうちで最終的に蓄積される補償を最大化する制御動作を判別する政策関数を学習させる第2神経網を生成する動作と、及び
前記第1神経網及び前記第2神経網の費用関数が最小になる方向に強化学習を遂行する動作を含む、
事物配置モデル提供装置。
【請求項2】
前記変数は、
前記仮想空間を構成する壁及び底の位置、角度、領域を特定する第1変数と、及び
前記仮想空間に配置される事物の位置、角度、領域を特定する第2変数を含む、
請求項1に記載の事物配置モデル提供装置。
【請求項3】
前記第1変数は、
前記壁の重点を特定する位置座標、前記壁が配置された角度を特定するオイラー角度、前記底の中心座標、及び前記底の境界面を特定するポリゴン情報を含む、
請求項2に記載の事物配置モデル提供装置。
【請求項4】
前記第2変数は、
前記事物の重点を特定する位置座標、前記事物の横/縦/幅の大きさを特定する大きさ情報、前記事物が配置された角度を特定するオイラー角度、及び前記事物と他の事物との干渉を評価することに使用される干渉情報を含む、
請求項2に記載の事物配置モデル提供装置。
【請求項5】
前記干渉情報は、
前記横/縦/幅の大きさの内に前記事物の重点を含む六面体の面のうちである一面の広さに所定の距離を掛けた嵩程度突き出された多面体形態が占めるようになる空間に対する情報を含む、
請求項4に記載の事物配置モデル提供装置。
【請求項6】
前記政策は、
前記事物のうちで前記仮想空間の底や壁に接して他の事物を支持する事物を第1階層で分類し、前記事物のうちで前記第1階層の事物に接して支持を受ける事物を第2階層で分類し、所定の第1階層の事物と連関されて共に配置される関係対で設定された第2階層の事物の種類、所定の第1階層の事物と関係対である第2階層の事物との配置距離、所定の第1階層の事物と関係対である第2階層の事物の配置方向に対して既定義された第1政策と、
所定の事物が配置される高さに対する範囲を既定義した第2政策と、
前記仮想空間の玄関からすべての種類の空間に最短空間に到逹する動線を所定幅の面積で認識するように既定義した第3政策を含む、
請求項2に記載の事物配置モデル提供装置。
【請求項7】
前記制御動作は、
前記仮想空間内で前記エージェントの位置及び角度に対する変数を変化させる動作を含む、
請求項6に記載の事物配置モデル提供装置。
【請求項8】
前記補償は、
前記制御動作によって変化された前記学習環境の状態が前記第1、第2、第3政策それぞれに符合する程度に対して評価する既設定された複数の評価式によって計算され、前記複数の評価式それぞれに対して反映する割合を決めた加重値で組み合わせて決まる、
請求項7に記載の事物配置モデル提供装置。
【請求項9】
前記複数の評価式は、
仮想空間内事物間の距離に対する評価点数、仮想空間内事物を距離によってグループで分類した後分類された事物グループ間の距離に対する評価点数、仮想空間内事物間の整列関係に対する評価点数、前記事物グループ間の整列関係に対する評価点数、前記事物グループと壁との整列関係に対する評価点数、事物が配置された高さに対する評価点数、底の余裕空間に対する評価点数、事物が壁に配置された密度に対する評価点数、動線の長さに対する評価点数を含む、
請求項8に記載の事物配置モデル提供装置。
【請求項10】
請求項1乃至請求項9のうちで何れか一つの請求項の装置によって生成された事物配置モデルを保存するメモリーと、及び
インテリアーサービスの使用者から所定の事物に対する配置要請を受信する入力インターフェースと、
前記使用者の仮想空間の状態に関する情報と前記所定の事物に対する情報を特定する変数を生成した後、前記変数を前記事物配置モデルに入力して出力された制御動作を基礎で前記仮想空間で前記所定の事物に対する配置空間を決めるプロセッサを含む、
事物配置モデル提供装置。
【請求項11】
事物配置モデル提供装置によって遂行される事物配置モデル提供方法において、
インテリアーサービスが提供する仮想空間の状態を構成する変数、前記仮想空間の変数を変化させる制御動作、前記仮想空間に配置されて前記制御動作の対象になる事物であるエージェント、所定変数が他の変数に対して及ぼす影響を定義した政策、前記制御動作によって変更された仮想空間の状態を基礎に評価される補償を設定して強化学習の対象になる学習環境を生成する段階と、
前記学習環境が有することができるそれぞれの状態で所定の制御動作を実行することによって達成するようになる補償を予測する価値関数を学習させる第1神経網を生成する段階と、
前記学習環境が有することができるそれぞれの状態で遂行可能な制御動作によって変更されるそれぞれの状態に対する前記価値関数の予測値を基礎で、前記遂行可能な制御動作のうちで最終的に蓄積される補償を最大化する制御動作を判別する政策関数を学習させる 第2神経網を生成する段階と、及び
前記第1神経網及び前記第2神経網の費用関数が最小になる方向に強化学習を遂行する段階を含む、
事物配置モデル提供方法。
【請求項12】
請求項11の方法をプロセッサが遂行するようにする命令語を含むコンピュータープログラムが記録されたコンピューター判読可能記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、強化学習基盤インテリアーサービスの事物配置モデル提供装置及び方法に関するものである。
【背景技術】
【0002】
人々は生きて行きながら自分の個性に符合しながらより美しい住居環境を追い求めようとする欲求を持っている。このために、簡単には、住居空間に新しい事物を配置してインテリアーを飾るか、またはひいては壁紙や床材を交替して空間の構造を変更するなどのインテリアー工事を進行したりする。
【0003】
従来にはインテリアー工事のために依頼人がインテリアー専門家に自分が願う空間を作ろうと住居環境などのインテリアー試案を依頼し、依頼を受けたインテリアー専門家は顧客が願うインテリアーを設計して顧客に提示する方式で進行した。
【0004】
しかし、現在は仮想空間に使用者が直接各種インテリアー要素を飾って見られるインテリアーサービス(ex.3D空間データプラットホームアーバンベース)が開発されることによって、インテリアーサービスの使用者が直接自分の住居環境を移植した仮想空間に自分の趣向どおり事物を配置して手軽く床材/壁紙などを交替して見られる。
【0005】
これによって、使用者らは仮想空間のインテリアーを通じて実際インテリアーを間接的に体感することができるし、自分の気に入る実際インテリアー商品を注文するか、または実際施工と連動されたインテリアー発注を入れるなどのサービスの提供を受けている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
前述したインテリアーサービスは使用者が仮想空間に直接各種インテリアー要素を飾って見られるように、多様な種類の事物、床材、壁紙などのインテリアー要素を使用者の仮想空間に提供する。
【0007】
一方、インテリアー要素らの配置は美的な側面と実用的な側面ですべて重要であるが、インテリアーサービスの使用者がインテリアー専門家ではない場合には数多くの種類の事物、床材、壁紙などを選択して配置することに困難を経験することがある。
【0008】
これによって、本発明の実施例で解決しようとする課題は、インテリアーサービスを使用する使用者の仮想空間で事物らの調和と動線などを考慮し、インテリアー要素らが配置される位置を自動で推薦する技術を提供しようとする。
【0009】
但し、本発明の実施例が達成しようとする技術的課題は以上で言及した課題に制限されないし、以下で説明する内容から通常の技術者に自明な範囲内で多様な技術的課題が導出されることができる。
【課題を解決するための手段】
【0010】
本発明の一実施例による事物配置モデル提供装置は、所定の動作を遂行するようにする命令語らを保存する一つ以上のメモリーと、及び前記一つ以上のメモリーと動作可能になるように連結されて前記命令語らを実行するように設定された一つ以上のプロセッサを含み、前記プロセッサの遂行する動作はインテリアーサービスが提供する仮想空間の状態を構成する変数、前記仮想空間の変数を変化させる制御動作、前記仮想空間に配置されて前記制御動作の対象になる事物であるエージェント、所定変数が他の変数に対して及ぼす影響を定義した政策、前記制御動作によって変更された仮想空間の状態を基礎に評価される補償を設定して強化学習の対象になる学習環境を生成する動作と、前記学習環境が有することができるそれぞれの状態で所定の制御動作を実行することによって達成するようになる補償を予測する価値関数を学習させる第1神経網を生成する段階と、前記学習環境が有することができるそれぞれの状態で遂行可能な制御動作によって変更されるそれぞれの状態に対する前記価値関数の予測値を基礎で、前記遂行可能な制御動作のうちで最終的に蓄積される補償を最大化する制御動作を判別する政策関数を学習させる第2神経網を生成する動作と、及び前記第1神経網及び前記第2神経網の費用関数が最小になる方向で強化学習を遂行する動作を含むことができる。
【0011】
また、前記変数は前記仮想空間を構成する壁及び底の位置、角度、領域を特定する第1変数と、及び前記仮想空間に配置される事物の位置、角度、領域を特定する第2変数を含むことができる。
【0012】
また、前記第1変数は前記壁の重点を特定する位置座標、前記壁が配置された角度を特定するオイラー角度、前記底の中心座標、及び前記底の境界面を特定するポリゴン情報を含むことができる。
【0013】
また、前記第2変数は前記事物の重点を特定する位置座標、前記事物の横/縦/幅の大きさを特定する大きさ情報、前記事物が配置された角度を特定するオイラー角度、及び前記事物と他の事物との干渉を評価することに使用される干渉情報を含むことができる。
【0014】
また、前記干渉情報は前記横/縦/幅の大きさの内に前記事物の重点を含む六面体の面のうちである一面の広さに所定の距離を掛けた嵩程度突き出された多面体形態が占めるようになる空間に対する情報を含むことができる。
【0015】
また、前記政策は前記事物のうちで前記仮想空間の底や壁に接して他の事物を支持する事物を第1階層で分類し、前記事物のうちで前記第1階層の事物に接して支持を受ける事物を第2階層で分類し、所定の第1階層の事物と連関されて共に配置される関係対で設定された第2階層の事物の種類、所定の第1階層の事物と関係対である第2階層の事物との配置距離、所定の第1階層の事物と関係対である第2階層の事物の配置方向に対して既定義された第1政策と、所定の事物が配置される高さに対する範囲を既定義した第2政策と、前記仮想空間の玄関からすべての種類の空間に最短空間に到逹する動線を所定幅の面積で認識するように既定義した第3政策を含むことができる。
【0016】
また、前記制御動作は前記仮想空間内で前記エージェントの位置及び角度に対する変数を変化させる動作を含むことができる。
【0017】
また、前記補償は前記制御動作によって変化された前記学習環境の状態が前記第1、第2、第3政策それぞれに符合する程度に対して評価する既設定された複数の評価式によって計算され、前記複数の評価式それぞれに対して反映する割合を決めた加重値で組み合わせて決まることができる。
【0018】
また、前記複数の評価式は仮想空間内の事物間の距離に対する評価点数、仮想空間内事物を距離によってグループで分類した後分類された事物グループ間の距離に対する評価点数、仮想空間内事物間の整列関係に対する評価点数、前記事物グループ間の整列関係に対する評価点数、前記事物グループと壁との整列関係に対する評価点数、事物が配置された高さに対する評価点数、底の余裕空間に対する評価点数、事物が壁に配置された密度に対する評価点数、動線の長さに対する評価点数を含むことができる。
【0019】
また、前記装置によって生成された事物配置モデルを保存するメモリーと、及びインテリアーサービスの使用者から所定の事物に対する配置要請を受信する入力インターフェースと、前記使用者の仮想空間の状態に関する情報と前記所定の事物に対する情報を特定する変数を生成した後、前記変数を前記事物配置モデルに入力して出力された制御動作を基礎で前記仮想空間で前記所定の事物に対する配置空間を決めるプロセッサを含むことができる。
【0020】
本発明の一実施例による事物配置モデル提供方法は、インテリアーサービスが提供する仮想空間の状態を構成する変数、前記仮想空間の変数を変化させる制御動作、前記仮想空間に配置されて前記制御動作の対象になる事物であるエージェント、所定変数が他の変数に対して及ぼす影響を定義した政策、前記制御動作によって変更された仮想空間の状態を基礎に評価される補償を設定して強化学習の対象になる学習環境を生成する段階と、前記学習環境が有することができるそれぞれの状態で所定の制御動作を実行することによって達成するようになる補償を予測する価値関数を学習させる第1神経網を生成する段階と、前記学習環境が有することができるそれぞれの状態で遂行可能な制御動作によって変更されるそれぞれの状態に対する前記価値関数の予測値を基礎で、前記遂行可能な制御動作のうちで最終的に蓄積される補償を最大化する制御動作を判別する政策関数を学習させる第2神経網を生成する段階と、及び前記第1神経網及び前記第2神経網の費用関数が最小になる方向に強化学習を遂行する段階を含むことができる。
【発明の効果】
【0021】
本発明の実施例によれば、強化学習を基盤でインテリアーサービスの仮想空間で事物が占める大きさ、事物間の干渉、共に配置する事物らの調和、配置密度、事物らが配置されるによる空間の動線などを考慮して最適の事物配置技術を提供することができる。
【0022】
この外に、本文書を通じて直接的または間接的に把握される多様な効果らが提供されることができる。
【図面の簡単な説明】
【0023】
図1】本発明の一実施例による事物配置モデル提供装置の機能ブロック図である。
図2】本発明の一実施例による事物配置モデル提供装置が事物配置モデルに対する学習を遂行する事物配置モデル提供方法の動作流れ図である。
図3】本発明の一実施例による学習環境で仮想空間の例示図である。
図4A】本発明の一実施例による学習環境で事物を特定する動作の例示図である(その1)。
図4B】本発明の一実施例による学習環境で事物を特定する動作の例示図である(その2)。
図4C】本発明の一実施例による学習環境で事物を特定する動作の例示図である(その3)。
図5】本発明の一実施例による学習環境で関係対に該当する第1階層の事物及び第2階層の事物に対して既定義された情報の例示図である。
図6】本発明の一実施例によって強化学習基盤で価値関数及び政策関数を学習させる動作を説明するための例示図である。
図7】本発明の一実施例による事物配置モデル提供装置が事物配置モデルを通じて事物が配置される位置を決める事物配置モデル提供方法の動作流れ図である。
【発明を実施するための形態】
【0024】
本発明の利点及び特徴、そして、それらを達成する方法は、添付される図面と共に詳細に後述されている実施例らを参照すれば明確になるであろう。しかし、本発明は以下で開示される実施例らに限定されるものではなく多様な形態で具現されることができるし、単に本実施例らは本発明の開示が完全になるようにして、本発明が属する技術分野で通常の知識を持った者に発明の範疇を完全に知らせてくれるために提供されるものであり、本発明の範疇は請求項によって定義されるだけである。
【0025】
本発明の実施例らを説明しながら公知機能または構成に対する具体的な説明は本発明の実施例らを説明しながら実際に必要な場合外には省略されるであろう。そして、後述される用語は本発明の実施例での機能を考慮して定義された用語として、これは使用者、運用者の意図または慣例などによって変わることができる。それで、その定義は本明細書全般にわたった内容を土台で下ろされなければならないであろう。
【0026】
図面に表示されて下に説明される機能ブロックらは可能な具現の例らであるだけである。他の具現らでは詳細な説明の思想及び範囲を脱しない範囲で他の機能ブロックらが使用されることができる。また、本発明の一つ以上の機能ブロックが個別ブロックらに表示されるが、本発明の機能ブロックのうちで一つ以上は同一機能を実行する多様なハードウェア及びソフトウェア構成の組合であることができる。
【0027】
また、ある構成要素らを含むという表現は、開放型の表現として該当構成要素らが存在することを単純に指称するだけであり、追加的な構成要素らを排除することで理解されてはいけない。
【0028】
ひいては、ある構成要素が異なる構成要素に連結されているか、または接続されていると言及される時には、その他の構成要素に直接的に連結または接続されていることもできるが、中間に他の構成要素が存在することもできると理解されなければならない。
【0029】
また‘第1、第2'などのような表現は、複数の構成を区分するための用途だけで使用された表現であり、構成らの間の手順やその他の特徴らを限定しない。
【0030】
以下では、図面らを参照して本発明の実施例らに対して説明するようにする。
【0031】
図1は、本発明の一実施例による事物配置モデル提供装置100の機能ブロック図である。図1を参照すれば、一実施例による事物配置モデル提供装置100はメモリー110、プロセッサ120、入力インターフェース130、ディスプレイ部140及び通信インターフェース150を含むことができる。
【0032】
メモリー110はビックデータDB111、事物配置モデル113及び命令語DB115を含むことができる。
【0033】
ビックデータDB111はインテリアーサービスから収集される多様なデータを含むことができる。インテリアーサービスとは、実際空間の姿を3次元の仮想空間に移植して仮想のインテリアー要素を飾って見られる機能を提供するサービスを含むことができる。インテリアーサービスを使用する使用者らは自分の趣向どおり仮想空間に事物/床材/壁紙などのインテリアー要素を配置することができる。インテリアーサービスを使用する使用者らは他の使用者らが飾った仮想空間のインテリアーを見て共感機能(ex.お気に入りボタン)などを通じて反応することができる。また、インテリアーサービスを通じて使用者らが特定インテリアーを問い合わせした問い合わせ数が集計されることができる。
【0034】
ビックデータDB111がインテリアーサービスから収集されるすべての情報をビックデータとして保存することができる。例えば、ビックデータはインテリアーサービスの使用者情報、使用者がインテリアーした空間に対する情報、インテリアーした部屋種類に対する情報、使用者が配置した事物、壁紙、床材などに対する情報、使用者の趣向に対する情報、使用者らが特定インテリアーに対して評価した情報、使用者らが特定インテリアーを問い合わせした回数に対する情報などを含むことができる。
【0035】
事物配置モデル113は強化学習を基盤でインテリアーサービスの仮想空間で事物が占める大きさ、事物間の干渉、共に配置する事物らの調和、配置密度、事物らが配置されることによる空間の動線などを考慮してインテリアーサービスの使用者にインテリアー要素が配置される最適の位置と方向を推薦する人工知能モデルである。事物配置モデル113は図2と共に後述される実施例によって学習が遂行されてメモリー110に保存されることができる。
【0036】
本発明の実施例で強化学習は、インテリアーサービスの仮想空間で特定の事物を配置する場合、該当事物が他の事物との調和、干渉、動線などを考慮して最適の位置に配置される目的を達成するため、制御する対象であるエージェント(ex.仮想空間に配置される事物)がある位置に配置されるように制御動作(ex.配置される位置、角度などを決定)を取らなければならないか判別する事物配置モデルを生成することに使用される。例えば、本発明の実施例で強化学習アルゴリズムはA2C(Advantage Actor-Critic)モデルを使用することができるが、このような例示に限定されないで強化学習の概念に基盤した多様なアルゴリズムを本発明の実施例に適用することができる。
【0037】
命令語DB115はプロセッサ120の動作を遂行させることができる命令語らを保存することができる。例えば、命令語DB115は後述するプロセッサ120の動作らと対応される動作を遂行するようにするコンピューターコードを保存することができる。
【0038】
プロセッサ120は事物配置モデル提供装置100が含む構成ら、メモリー110、入力インターフェース130、ディスプレイ部140及び通信インターフェース150の全般的な動作を制御することができる。プロセッサ120は環境設定モジュール121、強化学習モジュール123及び制御モジュール125を含むことができる。プロセッサ120はメモリー110に保存された命令語らを行って環境設定モジュール121、強化学習モジュール123及び制御モジュール125を駆動させることができる。環境設定モジュール121、強化学習モジュール123及び制御モジュール125によって遂行される動作はプロセッサ120によって遂行される動作で理解されることができる。
【0039】
環境設定モジュール121は事物配置モデルを強化学習させるための学習環境を生成することができる。学習環境は事物配置モデルを学習させるために事前設定される環境に対する情報を含むことができる。例えば、環境設定モジュール121はインテリアーサービスが提供する仮想空間の状態を構成する変数(variable)、このような変数値の組合で表現される状態(state)、仮想空間の状態を構成する変数を変更させる制御動作(action)、制御動作の対象になるエージェント(agent)、所定の変数が他の変数に及ぶ影響を定義した政策(policy)、制御動作によって変更された仮想空間の状態を基礎に評価される補償(reward)を設定して学習環境を生成することができる。
【0040】
強化学習モジュール123は学習環境に対する設定が完了すれば、学習環境が有することができるそれぞれの状態で所定の制御動作を実行することによって達成するようになる補償を予測する価値関数と、学習環境が有することができるそれぞれの状態で遂行可能な制御動作によって変更されるそれぞれの状態に対する価値関数の予測値を基礎で遂行可能な制御動作のうちで最終的に蓄積される補償を最大化する制御動作を判別する政策関数を学習させることで強化学習が遂行された事物配置モデルを生成することができる。
【0041】
制御モジュール125はインテリアーサービスの仮想空間に使用者が特定事物の配置を要請した場合、事物配置モデルを活用して最適の事物配置空間を推薦することができる。
【0042】
入力インターフェース130は使用者の入力を受信することができる。例えば、使用者がインテリアーサービスで選択するインテリアー要素などの入力を受信することができる。
【0043】
ディスプレイ部140はディスプレイパネルを含んで画像を出力するハードウェア構成を含むことができる。
【0044】
通信インターフェース150は外部装置(ex.外部DBサーバー、使用者端末など)と通信して情報を送受信できるようにする。このために、通信インターフェース150は無線通信モジュールまたは有線通信モジュールを含むことができる。
【0045】
以下、図2乃至図7を通じて事物配置モデル提供装置100の構成要素らが連動して事物配置モデルを学習させて事物配置モデルを利用する具体的な実施例に対して説明する。
【0046】
図2は、本発明の一実施例による事物配置モデル提供装置100が事物配置モデルに対する学習を遂行する事物配置モデル提供方法の動作流れ図である。図2による事物配置モデル提供方法の各段階は図1を通じて説明された事物配置モデル提供装置100の構成らによって遂行されることができるし、各段階を説明すれば次のようである。
【0047】
環境設定モジュール121は強化学習の対象になる学習環境を生成することができる(S210)。例えば、環境設定モジュール121はインテリアーサービスが提供する仮想空間の状態を構成する変数、仮想空間の変数を変化させる制御動作、仮想空間に配置されて制御動作の対象になる事物であるエージェント、所定変数が他の変数に対して及ぼす影響を定義した政策、制御動作によって変更された仮想空間の状態を基礎に評価される補償を設定することができる。
【0048】
変数は図3のような仮想空間の状態(ex.仮想空間の大きさ、仮想空間の形態、仮想空間に配置される事物の位置、事物の大きさ、事物の種類など)を示すための変数に対する識別情報と各変数を示す値を含むことができる。このために、変数は大きく二つの種類としてインテリアーサービスの仮想空間を特定する第1変数と、仮想空間に配置される事物の位置、角度、占める領域、干渉領域を特定する第2変数を含むことができる。
【0049】
第1変数は壁の重点を特定する3次元位置座標、壁が配置された角度を特定するオイラー角度、壁の大きさを特定する横/縦/幅の大きさ情報、底の中心を特定する3次元位置座標及び底の境界面を特定するポリゴン情報を含むことができる。これによって、底と壁の位置及び配置角度を設定して仮想空間を特定することができるし、壁を通じた空間の区分を通じて各空間の用途を特定することができる。
【0050】
図4(a)を参照すれば、第2変数は事物の重点を特定する3次元位置座標、事物の横/縦/幅の大きさを特定する大きさ情報、事物が配置された角度を特定するオイラー角度に対する情報を含むことができる。これによって、事物の重点とオイラー角度を通じて事物が配置される位置と方向を特定することができるし、大きさ情報を通じて横/縦/幅の大きさ内に事物の重点を含む六面体の大きさで特定されて仮想空間内で該当事物が占めるようになる大きさ21を特定することができる。
【0051】
図4(b)を参照すれば、第2変数は特定事物と他の事物との干渉を評価することに使用される仮想の嵩である干渉領域に対する情報を含むことができる。干渉領域に対する情報は動線確保及び事物間の干渉を避ける要素を特定するため、事物を特定する六面体の面のうちである一面の広さに所定の距離を掛けた嵩程度突き出された多面体形態が占める空間の嵩を特定23することができる。
【0052】
図4(c)を参照すれば、干渉領域に対する情報は視野角を表現する要素を特定するため、事物を特定する六面体の面のうちである一面に対する既設定された割合の面積に所定の距離を掛けた嵩程度突き出された複数個の多面体が順番どおり占める空間の嵩を特定25することができる。
【0053】
政策は仮想空間でどのような状態が学習目的に符合する状態であるか学習の方向性を定義する情報を意味する。このために、本発明の実施例による政策は事物間の望ましい配置関係を定義する第1政策、事物の望ましい高さに対する範囲を定義する第2政策、第1位置から第2位置までの最短動線を確保するための第3政策を含むことができる。
【0054】
第1政策はインテリアーサービスの事物のうちで仮想空間の底や壁に接して他の事物を支持する事物を第1階層で分類し、第1階層の事物に接して支持を受ける事物を第2階層で分類し、第1階層の事物と連関されて共に配置される関係対で設定された第2階層の事物の種類、第1階層の事物と関係対である第2階層の事物間の配置距離、第1階層の事物と関係対である第2階層の事物の配置方向に対して図5のように定義した政策情報を含むことができる。
【0055】
第2政策は所定の事物が配置される適切な高さに対する範囲を定義した政策情報を含むことができる。
【0056】
第3政策は特定位置(ex.玄関)からすべての種類の空間(ex.居間、キッチン、トイレ、寝室など)に最短空間に到逹する動線を所定幅の面積で認識するように定義した政策情報を含むことができる。
【0057】
エージェントは仮想空間に配置される事物で特定されることができるし、エージェントは既定義された政策と補償に基盤し、仮想空間で配置される位置、角度などの決定に対する制御動作が遂行される対象になることができる。
【0058】
補償はエージェントに対する制御動作によって変化された学習環境の状態(ex.仮想空間を示す変数らの組合)が第1政策、第2政策及び第3政策それぞれに符合する程度を評価する既設定された複数の評価式によって計算されることができるし、それぞれの評価式によって計算された評価点数を反映する割合を決めた加重値に基礎して合算されて決まることができる。
【0059】
例えば、補償は下記数学式1乃至数学式13によって決まることができる。
[数学式1]
【数1】

(CIF:事物間の距離の評価点数、F:仮想空間内すべての事物の集合、f1:第1事物、f2:第2事物、Objection Collision:仮想空間で第1事物と第2事物が重なっている嵩の割合、Bounding Box Collision仮想空間で第1事物の干渉情報に該当する空間と第2事物の干渉情報に該当する空間が重なっている嵩の割合、wpは第1事物と第2事物が関係対に該当する場合0、関係対ではない場合には1)
【0060】
[数学式2]
【数2】

(CIG:事物グループ間距離の評価点数、Bounding Box Collision仮想空間で第1グループに属した事物らの干渉情報に該当する空間と第2グループに属した事物らの干渉情報に該当する空間が重なっている嵩の割合)
【0061】
この時数学式2の場合、事物のグループは仮想空間内で事物らが位置する3次元座標の位置を基盤で事物らを群集化する所定のアルゴリズムを利用してお互いに近く配置された事物間のグループを分類することができる。このために、多様なグループ化アルゴリズムを使用することができるし、例えばDBSCAN(Density Based Spatial Clustering of Applications with Noise)クラスタリングアルゴリズムを利用することができる。
【0062】
[数学式3]
【数3】

(CAF:事物間の整列関係の評価点数、F:仮想空間内すべての事物の集合、f1:第1事物、f2:第2事物、f(θ)+f(θ):第1事物の重点と第2事物の重点を引き継いだ線が所定の軸(ex.x軸またはy軸)に対して形成する角度)
【0063】
[数学式4]
【数4】

(CAG:事物グループの間整列関係の評価点数、g(θ)+g(θ):第1グループで形成された事物らの重点と第2グループで形成された事物らの重点を引き継いだ線が所定の軸(ex.x軸またはy軸)に対して形成する角度)
【0064】
[数学式5]
【数5】

(CAW:事物グループと壁との整列関係の評価点数、F:仮想空間内すべての事物の集合、G:仮想空間内形成された事物のグループ、W:仮想空間内壁、G(θ)+W(θ):グループ内事物らの重点と壁の重点を引き継いだ線が所定の軸(ex.x軸またはy軸)に対して形成する角度)
【0065】
[数学式6]
【数6】

(CH:事物が配置された高さに対する評価点数、F:仮想空間内すべての事物の集合、f:特定事物、H(f):特定事物が既定義された適正高さから脱した高さの割合、F(h):すべての事物らの平均高さが特定空間(ex.居間、寝室、トイレ)に対して既定義された適正高さから脱した高さの割合)
【0066】
[数学式7]
【数7】

(CFAG:底の余裕空間に対する評価点数、Area(ground):底の全体面積、G:仮想空間内すべてのグループの集合、g:仮想空間内特定グループ、Area(proj(B(g))):特定グループに属したすべての事物の大きさを底に透写した場合底に透写された面積)
【0067】
[数学式8]
【数8】

(CFAW:事物らが壁に密度あるように配置されたかに対する評価点数、W:仮想空間内すべての壁の集合、w:仮想空間内特定壁、Kw:壁wに所定距離以下に配置された事物の個数、f:壁wに所定距離以下に配置された事物、Area(w):壁wの面積、Area(proj(B(f))):壁wに所定距離以下に配置された事物の大きさを壁wに透写した場合壁に透写された面積)
【0068】
[数学式9]
【数9】

(Cc:動線の長さに対する評価点数、Length(Circulation Curve):既設定された第1位置(ex.玄関など)で既設定された第2位置(ex.窓、居間、キッチン、トイレ、寝室など)まで連結した線分の長さ)
【0069】
この時数学式9の場合、第1位置及び第2位置の各位置を特定する重点情報に対してVoronoi Diagramアルゴリズムを適用して総長さを計算することができる。
【0070】
[数学式10]
【数10】
【0071】
数学式10はそれぞれの事物を基準で、事物間の配置距離、配置高さ、事物間の整列関係、事物と壁との配置密度を考慮した評価点数である。
【0072】
[数学式11]
【数11】
【0073】
数学式11は事物のグループを基準で、グループの間の配置距離、グループの間の整列関係、グループと壁との整列関係、グループと壁との配置密度を考慮した評価点数である。
【0074】
[数学式12]
【数12】
【0075】
数学式12は事物が配置されることによって動線の効率性を考慮した評価点数である。
【0076】
[数学式13]
【数13】

(wGは評価点数Gの反映の割合、wPpは評価点数Pの反映の割合、wCcは評価点数Cの反映の割合)
【0077】
これによって、補償は制御動作によって変化された学習環境の状態が前記第1、第2、第3政策それぞれに符合する程度に対して既設定された数学式1乃至数学式9の評価式によって計算されることができるし、それぞれの基準に評価された数学式10、数学式11、数学式12に対して、学習の意図によって反映される割合を考慮して数学式13と共に最終補償を決めるように学習環境を設定することができる。
【0078】
このように、学習環境に対する設定が完了された以後、強化学習モジュール123は学習環境が有することができる各状態で行うことができる制御動作によって達成するようになる補償を予測する価値関数を学習する第1神経網を生成して(S220)、学習環境が有することができるそれぞれの状態で行うことができる制御動作のうちで最終的に蓄積される補償を最大化する制御動作を導出する政策関数を学習する第2神経網を生成することができる(S230)。
【0079】
図6は、本発明の一実施例によって強化学習のうちでActor-Criticアルゴリズム基盤で価値関数及び政策関数を学習させる動作を説明するための例示図である。
【0080】
強化学習アルゴリズムの一実施例としてActor-Criticアルゴリズムは政策をモデリングして、この政策関数に対して傾斜下降法を適用して学習するOn-policy強化学習アルゴリズムで政策傾斜技法(Policy Gradient)を通じて最適の政策を学習することができる。
【0081】
本発明の一実施例による事物配置モデル(ex.Actor-Criticモデル)は第1神経網及び第2神経網を含むことができる。第1神経網は学習環境が有することができるそれぞれの状態で所定の制御動作を実行することによって達成するようになる補償を予測する価値関数を学習するCriticモデルを含むことができる。制御動作は制御する対象になる事物が配置される位置、角度などの変数を変更する制御動作を含むことができる。
【0082】
第2神経網は学習環境が有することができるそれぞれの状態で行うことができる制御動作のうちで最終的に蓄積される補償を最大化する制御動作を導出する政策関数を学習するActorモデルを含むことができる。
【0083】
この時政策はπθ(at|st)で定義し、現在状態(st)に対する制御動作(at)の条件付き確率に表現される。また、状態と行動に対する状態-行動価値関数(state-action value function)はQw(st,at)で定義して、どのような状態(st)でどのような行動(at)を遂行した時獲得する総補償の期待値を示す。
【0084】
強化学習モジュール123は第1神経網の入力変数を学習環境の状態(st)で設定し、第1神経網の出力変数は学習環境が有することができる各状態で政策を実行することによって達成するようになる補償、すなわち、価値関数の予測値(Vw(st))で設定することができる。この時、入力変数は学習環境の状態を構成する変数として第1変数または第2変数の組合が使用されることができる。
【0085】
一方、第1神経網の学習方向を決める費用関数は価値関数の予測値(Vw(st))が実際価値よりどの程度良なのかを示す利得(A(s,a))が最小になるようにするMSE(mean square error)関数であることができるし、例えば、下の数学式14で設定することができる。
【0086】
[数学式14]
【数14】

【数15】

この時Qw()は状態-行動価値関数、wは学習されたパラメーター、stは学習環境の現在状態、Qw(st,at)は現在状態(st)の制御行動(at)に対する総補償の期待値、losscriticは第1神経網の費用関数、rt+1は次の状態(st+1)で獲得する補償、Vw(st+1)は次状態(st+1)の政策に対する総補償の期待値、Vw(st)は現在状態(st)の政策に対する総補償の期待値、γは学習の減価率を意味する。
【0087】
これによって、第1神経網は学習環境の状態が変更される度に第1神経網の費用関数を最小化する方向に第1神経網のパラメーター、例えば、加重値(weight)及びバイアス(bias)をアップデートすることができる。
【0088】
第2神経網は学習環境が有することができるそれぞれの状態で行うことができる制御動作のうちで最終的に蓄積される補償を最大化する制御動作を導出する政策関数を学習する。このために、第2神経網の入力変数を価値関数の予測値及び学習環境の状態(st)で設定し、第2神経網の出力変数を学習環境が有することができるそれぞれの状態で行うことができる制御動作のうちで最終的に蓄積される補償を最大化する制御動作になるように設定することができる。この時、入力変数は学習環境の状態を構成する変数として第1変数または第2変数の組合が使用されることができる。
【0089】
この時、第2神経網は例えば、下の数学式15のような形態の費用関数を基礎に学習されることができる。
【0090】
[数学式15]
【数16】

この時∇θJ(θ,st)は第2神経網の費用関数、πθ()は政策関数、θは第2神経網で学習されたパラメーター、stは学習環境の現在状態、πθ(at|st)は現在状態(st)で制御動作(at)の条件付き確率、Qw()は状態-行動価値関数、wは学習されたパラメーター、stは学習環境の現在状態、Qw(st,at)は現在状態(st)の制御行動(at)に対する総補償の期待値を意味する。
【0091】
一方、第1神経網の出力変数は第2神経網の費用関数に適用されることができるし、下の数学式16のように設定されることができる。
【0092】
[数学式16]
【数17】

この時∇θJ(θ,st)は 第2神経網の費用関数、πθ()は政策関数、θは第2神経網で学習されたパラメーター、stは学習環境の現在状態、πθ(at|st)は現在状態(st)で制御動作(at)の条件付き確率、Vw()は価値関数、wは第1神経網で学習されたパラメーター、Vw(st)は現在状態(st)の政策に対する総補償の期待値、rt+1は次の状態(st+1で獲得する補償、Vw(st+1)は次の状態(st+1)の政策に対する総補償の期待値、γは第1神経網(st+1で学習の減価率を意味する。
【0093】
これによって、強化学習モジュール123は第1神経網の費用関数及び第2神経網の費用関数が最小になる方向に強化学習を遂行することができる(S240)。
【0094】
すなわち、学習環境が任意のスタート状態(または、インテリアーサービスのビックデータに含まれた仮想空間の状態)で始まって特定事物に対する制御動作が行われることによって状態が変更されながら終了状態になるまで毎状態ごとに第1神経網の費用関数が最小になるように価値関数をアップデートして、アップデートされた価値関数を第2神経網の費用関数に反映して第2神経網の費用関数が最小になるように並列的に政策関数をアップデートすることができる。
【0095】
これによって、第2神経網は学習環境の現在状態(st)の入力を受けて政策関数に基礎して現在学習環境の状態から最終状態まで蓄積するようになる補償が最大の制御動作(at)を導出することができる。
【0096】
以後、学習環境は制御動作(at)によって現在状態(st)を設定された規則に基礎して次の状態(st+1)に変更させ、次の状態(st+1)を構成する変数及び次の状態での補償(rt+1)を第1神経網に提供する。これによって、第1神経網は第1神経網の費用関数が最小になるように価値関数をアップデートして、アップデートされたパラメーターを第2神経網に提供し、第2神経網はアップデートされた価値関数のパラメーターを第2神経網の費用関数に反映して第2神経網の費用関数が最小になるように政策関数をアップデートすることができる。
【0097】
このように、強化学習モジュール123は上述した方向性によって第1神経網及び第2神経網の学習回数を繰り返して、価値関数及び政策関数が最適の制御動作を決めるように学習させることができるし、事物配置モデルは学習が数回繰り返された第1神経網及び第2神経網を含む構成で理解されることができる。これによって事物配置モデルを使って特定仮想空間に事物を配置する場合既定義した政策に符合する最適の位置が算出されるようにできる。
【0098】
一方、前述した数学式14乃至数学式16は、強化学習の説明のために例示した数学式として、本発明の実施例を具現するために自明な範囲で変更して使用することができる。
【0099】
図7は、本発明の一実施例による事物配置モデル提供装置100が事物配置モデルを通じて事物が配置される位置を決める事物配置モデル提供方法の動作流れ図である。但し、図7による事物配置モデルの使用動作は図2による事物配置モデルの学習動作と必ず等しい装置で遂行される必要がないし、お互いに異なる客体の装置であることができる。
【0100】
図7を参照すれば、事物配置モデル提供装置100によって生成された事物配置モデル113はメモリー110に保存されることができる(S710)。
【0101】
入力インターフェースはインテリアーサービスの使用者から所定の事物に対する配置要請を受信することができる(S720)。
【0102】
制御モジュール125は使用者の仮想空間の状態に関する情報と所定の事物に対する情報を特定する変数を生成した後、事物配置モデルに入力して出力された制御動作を基礎で仮想空間で所定の事物の配置空間を決めることができる(S730)。
【0103】
前述した実施例によると、強化学習を基盤でインテリアーサービスの仮想空間で事物が占める大きさ、事物間の干渉、共に配置する事物らの種類、仮想空間の動線などを考慮して最適の事物配置技術を提供することができる。
【0104】
前述した本発明の実施例らは多様な手段を通じて具現されることができる。例えば、本発明の実施例らはハードウェア、ファームウエア(firmware)、ソフトウェアまたはそれらの結合などによって具現されることができる。
【0105】
ハードウェアによる具現の場合、本発明の実施例らによる方法は一つまたはその以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、プロセッサ、コントローラー、マイクロコントローラー、マイクロプロセッサーなどによって具現されることができる。
【0106】
ファームウエアやソフトウェアによる具現の場合、本発明の実施例らによる方法は以上で説明された機能または動作を遂行するモジュール、手続きまたは関数などの形態で具現されることができる。ソフトウェアコードなどが記録されたコンピュータープログラムはコンピューター判読可能記録媒体またはメモリーユニットに保存されてプロセッサによって駆動されることができる。メモリーユニットはプロセッサ内部または外部に位置して、既に公知された多様な手段によってプロセッサとデータを取り交わすことができる。
【0107】
また、本発明に添付されたブロック図の各ブロックと流れ図の各段階の組合らはコンピュータープログラムインストラクションらによって遂行されることもできる。これらコンピュータープログラムインストラクションらは汎用コンピューター、特殊用コンピューターまたはその他プログラム可能なデータプロセッシング装備のエンコードプロセッサに搭載されることができるので、コンピューターまたはその他プログラム可能なデータプロセッシング装備のエンコードプロセッサを通じて遂行されるそのインストラクションらがブロック図の各ブロックまたは流れ図の各段階で説明された機能らを遂行する手段を生成するようになる。これらコンピュータープログラムインストラクションらは特定方法で機能を具現するためにコンピューターまたはその他プログラム可能なデータプロセッシング装備を指向することができるコンピューター利用可能またはコンピューター判読可能メモリーに保存されることも可能であるので、そのコンピューター利用可能またはコンピューター判読可能メモリーに保存されたインストラクションらはブロック図の各ブロックまたは流れ図の各段階で説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータープログラムインストラクションらはコンピューターまたはその他プログラム可能なデータプロセッシング装備上に搭載されることも可能であるので、コンピューターまたはその他プログラム可能なデータプロセッシング装備上で一連の動作段階らが遂行されてコンピューターで実行されるプロセスを生成してコンピューターまたはその他プログラム可能なデータプロセッシング装備を遂行するインストラクションらはブロック図の各ブロック及び流れ図の各段階で説明された機能らを実行するための段階らを提供することも可能である。
【0108】
併せて、各ブロックまたは各段階は特定された論理的機能を実行するための一つ以上の実行可能なインストラクションらを含むモジュール、セグメントまたはコードの一部を示すことができる。また、幾つかの代替実施例らではブロックらまたは段階らで言及された機能らが手順を脱して発生することも可能であることを注目しなければならない。例えば、相次いで図示されている二つのブロックらまたは段階らは、実は実質的に同時に遂行されることも可能であり、またはそのブロックらまたは段階らが時々該当する機能によって逆順で遂行されることも可能である。
【0109】
このように、本発明が属する技術分野の当業者は本発明がその技術的思想や必須特徴を変更しなくても他の具体的な形態で実施されることができるということを理解することができるであろう。それで、以上で記述した実施例らはすべての面で例示的で限定的ではないものとして理解しなければならない。本発明の範囲は詳細な説明よりは後述する特許請求範囲によって現わされ、特許請求範囲の意味及び範囲、そして、その等価概念から導出されるすべての変更または変形された形態が本発明の範囲に含まれることで解釈されなければならない。
【符号の説明】
【0110】
100 事物配置モデル提供装置
110 メモリー
120 プロセッサ
130 入力インターフェース
140 ディスプレイ部
150 通信インターフェース
図1
図2
図3
図4A
図4B
図4C
図5
図6
図7
【国際調査報告】