花王メイクアップ研究所は、人工知能(AI)技術の1つである深層学習を用いて多様で繊細な肌の質感を評価・可視化する「肌評価AI」に、さらにヒトの感性を学習させ、肌の精緻な解析とヒトの視点・判断をあわせ持つ「Kirei肌AI」を開発した。今回の研究成果の一部は、「日本視覚学会2021年夏季大会」(2021年9月22~24日、オンライン開催)にて発表した。
花王は2021年1月に、肌の色・質感のわずかな違いからさまざまな情報を読み取り、印象の変化を感じ取るヒトの感性に近づく第一歩として、多様で繊細な肌の質感を評価・可視化する「肌評価AI」を開発したことを報告している。
この技術は、顔画像から切り出した小領域肌画像「肌パッチ」をAI技術の1つである深層学習(ディープラーニング)で学習することを特徴としており、「素肌と化粧肌」「化粧直後と時間が経った後」など、さまざまな肌状態のわずかな質感の違いを識別することができる。しかし一方で、メークアップしたときの肌の印象を的確に評価するためには、「その肌を見て、ヒトはどう感じるか」というヒトの視点の学習が必要だった。
例えば、ヒトの視点が非常に重要な肌質感の1つとして、表面の光沢をあらわす「つや」があるが、肌において好ましくない光沢は「テカリ」とされ、美しい光沢である「つや」と区別される。マットな肌、化粧くずれでテカリのある肌、なめらかで美しいつや肌を比べた際、過去に開発したAIではテカリのある肌を「光沢が強い」という評価でしか下せなかった。「つやではない」と判断できるのは、肌の印象を的確に捉えられるヒトの目の特徴があるためだ。
花王には、目視評価の訓練を積んだ「専門判定者」が肌の色、つや、肌トラブルなどを評価する仕組みがあり、肌を正確に評価することができる。そこで今回、既存の「肌評価AI」にヒトの感性そのものである「専門判定者の判断」を学習させることで、肌の精緻な解析とヒトの視点・判断をあわせ持つAIの開発を試みた。
専門判定者の目視評価を予測できるAIの構築をめざし、専門判定者が評価できる項目のうち「つや」「透明感」「肌表面のなめらかさ」など肌の色・質感に関する10項目をAIに学習させた。
学習には、20~39歳の日本人女性83名の顔画像から切り出された肌パッチ画像群9306枚と、その画像に対する専門判定者の目視評価結果を使用。その結果、専門判定者の目視評価項目10項目を、相関係数0.7前後の精度で予測可能なAIの構築に成功した。
この検討により、既存の「肌評価AI」にヒトの感性が反映された10の目視評価が加わり、計16項目の肌印象評価が可能な「Kirei肌AI」が誕生した。
今回開発した「Kirei肌AI」は、専門判定者のつや評価(視覚的つや)の基準に則り、機器では客観的に評価することが難しかった肌のつや感を高い精度で予測することが可能になった。
さらに、つやの多面性を捉えるべく、視覚的つや指標と、既存の肌評価AIが評価するつや・光沢に関連するその他の指標を同時に出力。日本人女性266名のメーク塗布前後の顔画像1596枚を用いて、視覚的つやとつや・光沢と関連すると考えられる3つの評価項目についてAIで評価を行い、評価項目間の関係を確認した。
その結果、「視覚的つや」は「化粧くずれ度」と負の相関を示し、「Powderly/Glossy」とやや強い正の相関を示した。「Powderly/Glossy」と「Dry/Wet」は強く相関したが、「Dry/Wet」は「視覚的つや」との相関が高くなかった。
これらの結果から、AIは、専門判定者が「つや」と「テカリ」を明確に区別し、メークアップによるつや仕上がりのような美しいつやを「視覚的つや」と評価していることを的確に学習したと考えられる。
さらに、「Kirei肌AI」を用いて、マット肌、テカリ肌、つや肌の画像を解析したところ、これらの肌は全く異なる質感であることが明確に示された。テカリ肌は「Glossy」「Wet」「化粧くずれ度」が高く、「視覚的つや」は高くないと判断される一方で、つや肌は「視覚的つや」が非常に高く、「Glossy」でありながら「化粧くずれ度」は低いという評価になっていた。
この結果から、「Kirei肌AI」は、単なる光沢のありなしではなく、「Powderly/Glossy」「化粧くずれ度」など光沢のわずかな違いを区別し、好ましく見えるかというヒト特有の視点も含んだ繊細な分析が可能であることがわかった。
今回、肌の精緻な解析とヒトの視点・判断をあわせ持ち繊細な質感を評価・表現できるAI技術の開発に成功したことから、今後はこのAI技術を、魅力的な製品開発やカウンセリングの充実に向けて積極的に活用していく。