感情と、感情の背景をセットで管理する


大量生産・大量消費の時代から、ユーザ一人ひとりの属性や行動履歴に基づいて、ユーザに最適な商品・サービス・体験を提供するパーソナライズ化の時代になりました。パーソナライズ化の重要なポイントは「人間の感情をどう推定するか」です。人間の感情を正しく推定することができれば、最適な広告やマーケティングの提供、患者がいつ投薬を必要とするか、自動車ドライバの安全性や快適性向上など、さまざまな用途においてユーザにパーソナライズ化した価値を提供することができます。今月の注目発明は、ある瞬間の人の感情に関する感情情報と、その時の周辺の状況情報を対応付けて、「感情」と「感情を抱くことになった背景」をセットで管理する発明です(特開2020-052847、パナソニックIPマネジメント)。


感情が生じる背景に着目

感情はコミュニケーション機能を持ちます。人間は機械ではないので、同じ用途であっても状況によって感情が異なったり、同じ状況であっても、個人属性や経験によって感情が異なったり、複雑な要素が関わってきます。この発明は、対象者の感情を、喜び、怒り、嫌悪、驚き、怖れ及び悲しみなどに分類するだけでなく、その感情を抱くことになった背景に関わる周辺状況に着目しています。


全体のフロー図に沿って説明します

「感情情報を取得」
生体センサ(脳波センサ、脈拍センサ)で取得した対象者の生体情報(脳波情報、脈拍情報)に基づいて、対象者の感情に関する「感情情報」をリアルタイムで推定します。
「状況情報を取得」
「感情情報」を取得したときの対象者の「周辺状況」に関する状況情報を取得します(カメラ、マイクロフォン、視線センサなど)。「周辺状況」は対象者の周辺状況を意味し、例えば、対象者から見える周囲の映像、対象者に聞こえている周囲の音等を含みます。具体的には、対象者が話し相手と向かい合って会話している場面においては、話し相手の容姿、視線、表情、音声、ジェスチャ及び行動等も「周辺状況」に含まれます。
「感情情報と状況情報を対応付け」
対応付けは、2つ以上の物について、対応する関係にある状態、つまり相対する関係にある状態とすることを意味します。したがって、「感情情報」と「状況情報」とは相対する関係になります。
「ログ情報として記録」
対応付けられた「感情情報」と「状況情報」をログ情報として記録します。つまり、ログ情報は、「感情情報」と「状況情報」の両者間の対応関係を含めて記録される情報です。ログ情報は、現在の「感情情報」と「状況情報」だけでなく、一定期間にわたって、「過去の感情情報」と「過去の状況情報」の履歴も含みます。
「属性の生成と提供」
ログ情報に基づいて、対象者の嗜好(趣味、好み)を反映した属性情報を生成します。さらに、対象者の属性を反映したリコメンドを対象者に提供します。

感情の活用シーン

感情の活用シーンをいくつか紹介します。


コミュニケーション支援


図5は、母国語が異なる2人の対象者が、向かい合って会話している場面です。

この2人が英語で会話していると、お互いの感情をうまく会話に反映することが困難な場合があります。
つまり、英語を母国語としない対象者からすると、英語の細かな表現に含まれるニュアンスが分からず、出身国による文化の違い、又は育った環境の違い等もあります。

そこで、本発明の感情管理システムによって、対象者から発せられて相手に届く言葉を、対象者の感情に応じて変換します。
母国語が異なる場合等、話し手である対象者が発する言葉が必ずしも対象者の感情をうまく反映するとは限らない状況であっても、対象者と相手とのコミュニケーションを円滑化することができます。

そのため、対象者は、感情をこめて、相手と、相手の母国語でコミュニケーションをとることが可能になります



リコメンド


対象者の嗜好を反映したリコメンドサービスが可能です。

ログ情報によれば、対象者の嗜好だけでなく、生活(食生活も含む)パターンや生活リズムも把握できるため、対象者の嗜好だけでなく、特定の食品を欲しているタイミングも推定することができます。
そのタイミングに合わせて、その食品を冷蔵庫内に準備するなど、対象者に適切なタイミングでサービスを提供することができます(図6)。
なお、食品だけでなく、対象者の職業やスケジュールに合わせて、適した衣服を提供する自動宅配サービスなども可能でしょう。



出会いの演出


出会いを演出することも可能です。
すなわち、本発明の感情管理システムによれば、対象者が何を見て喜んでいるのか、対象者が何を聞いて驚いているのか等が管理されているので、これらの情報から、互いに共感しそうな2人以上の対象者を推定することが可能です。

図9では、第1対象者のログ情報から、第1対象者が、読書が趣味であること、朝食がパン派であること、ある観光地へ旅行に行ったことが特定できます。
一方、第2対象者のログ情報からは、第2対象者が、読書が趣味であること、朝食がパン派であること、第1対象者と同じ観光地へ旅行に行ったことが特定できます。









ここでは、間接的な出会いの支援として、一群の対象者が偶然に出会う確率を上げるだけの演出を行います。

つまり、一群の対象者が出会うためのきっかけを与えるに過ぎず、あくまで、一群の対象者の各々の自主的な行動により一群の対象者同士が出会うようにします。
具体的には、図10のように、所定空間で一群の対象者が同時に存在する場合に、一群の対象者の共通項に係るイベントを実行することにより、一群の対象者が出会う確率を上げるようにする、などです。




人間の感情を認識する「感情認識AI」が注目されています。ある感情を抱いた人間に共通する特徴が、普通の人間では捉えきれないほど細微なものだったとしても、AIに自己学習させることで自動的に読み取ることが可能になります。


ネオテクノロジーでは「感情のデータ化」に関する特許技術調査を企画しています。 詳細について知りたい方は、ぜひお問合ください。