iPhone SEのポートレートモードはiPhone XRよりも優秀【コラム】

つい先日登場したiPhone SE (2nd Generation)は、2年半前の機種であるiPhone 8と全く同じシングルカメラを搭載する一方で、背景をぼかす機能であるポートレートモードに対応します。

シングルカメラでポートレートモード対応のiPhoneといえばiPhone XRを思い起こさせます。iPhone XRはピントを少しずつずらして写真を撮影し、コントラストがどのぐらい変化したかで深度測定を行う「Focus Pixels」という技術を採用していますが、iPhone SEでは異なるアルゴリズムとなっているようです。

今回はiPhone SEがどのようにポートレートモードを実現しているかを解説します。

iPhone SE（第2世代）の分解動画が公開【iPhone 8にそっくり】

先日、ついにYouTube上にiPhone SE（第2世代）の分解動画がアップされました。 大方の予想通り、iPhone 8と...

iPhone SEのポートレートモードは機械学習を利用したもの

iPhone SEのポートレートモードは機械学習を利用したソフトウェア処理で実現しています。

たとえば、この犬の画像の深度測定を見てみましょう。

iPhone XRもiPhone SEも中央にある物体が手前にあり、背景が後方にあるという前提で画像が処理されます。

(左：iPhone XR、右：iPhone SEの深度マップ)

左がFocus Pixelsを利用したiPhone XRの深度情報、右が機械学習を利用したiPhone SEの深度情報です。犬のアゴあたりを見ると、iPhone XRはうまく処理できていません。ただ、iPhone SEは若干ずれているところはあるものの概ね素晴らしく、更に背景も均一な深度情報ではなくしっかりとグラデーションがかかっています。

これだけ改善されたのはソフトウェアの進化はもちろん、A13 Bionicチップの画像処理エンジンやAI機能が十分に活用された結果なのでしょう。

シングルカメラとしての限界も

しかし、iPhone SEの深度情報はまだまだ不足しています。

例えばこのように、被写体が中央に配置されていない場合を見てみましょう。

(左：iPhone 11 Pro、右：iPhone SEの深度マップ)

※iPhone 11 ProとiPhone SEの深度情報のサイズの違いを含めた写真となっています。

トリプルカメラのiPhone 11 Proはそれでもしっかりと犬の形状を認識していますが、iPhone SEは床と壁の違いしか認識できません。

また、この多肉植物のようなごちゃごちゃとしたものに対しても弱いです。

(左：iPhone 11 Pro、右：iPhone SEの深度マップ)

深度マップの写真を見るとその違いは一目瞭然。iPhone 11 Proのほうがより多く、正確な深度情報を生成できています。

出来上がった写真は下のような違いがあります。写真になるとあまり違和感はないですが、iPhone 11 Proのほうがより自然な仕上がりになっていると言えるでしょう。

(左：iPhone 11 Pro、右：iPhone SEの写真)

人間以外に対しては背景次第では境界がうまく認識されず、下の写真のように、犬の上の木の部分がうまくボケてくれないようなシーンが多々見られるとのこと。

(左：ポートレートモードオフ、右：ポートレートモードオンの写真)

上の写真の深度情報

以上のように、未だにiPhone SEのポートレートモードは不完全なものです。そのため、Appleは比較的認識しやすい「人物」に対してのみポートレートモードが動作するという仕組みを採用したものだと思われます。

なお、これらの写真のように、iPhone SEは人物以外に対する深度情報も一応取得できるため、一部のサードパーティーアプリでは、人以外に対するポートレートモードにも対応します。

ソフトウェアはどこまで進化するか

一般的に、背景をぼかす機能は、下記のようにハードウェアを用いた手法で深度情報を測定した上で、ソフトウェアによる処理を加えて実現します。

• デュアルカメラによる視差情報（iPhone 11シリーズなど、2個以上カメラが必要）
• デュアルピクセルによる視差情報（Pixel 3シリーズなど、シングルカメラでも実現可能だが特殊なセンサーが必要）
• ToFカメラで直接測定する（Xperia 1 Ⅱなど、専用カメラが別途必要）

しかし、チップの進化や質のいいソフトウェアの完成により、iPhone SEのようにハードウェアは簡素なシングルカメラでも、完全にソフトウェアだけで、ある程度完成度の高いポートレートモードを実現できるようになっています。

依然としてハードウェアによる背景ぼかしのほうが美しいことは事実です。しかし、現在のスピードでソフトウェアが進化すれば、将来的には一眼カメラに見劣りしないカメラが実現できるかもしれませんね。

Pixel 4のポートレートモードはどう進化しているのか？

ポートレートモードは複数のカメラを利用した深度測定により、主題を浮き上がらせ背景をぼかす技術です。そのときに大事なのがカメラと被写体...

デュアルカメラ、デュアルピクセルによる深度測定方法を解説した記事です。

「ToFカメラ」って何？高精度な深度測定ができるスグレモノ【解説コラム】

近頃スマートフォンによく搭載されるようになったToFカメラ。 ToFカメラとはどういったものなのでしょうか？今回はToFに関し...

ToFカメラの動作機構を解説した記事です。

Source : HALIDE