西田宗千佳のRandomTracking
第442回
ソニー“厚木”の血が入ったスマホ「Xperia 1」はいかに生まれたか【後編】
2019年7月17日 07:00
ソニーモバイルのスマートフォン「Xperia 1」開発チームへのインタビュー後編をお送りする。今回はXperia 1のカメラを中心に、最終的に完成するまでの経緯について聞いていく。
後編だけでも読めるように構成しているが、ぜひ7月11日掲載の前編と合わせてお読みいただきたい。
対応いただいたのは、前編同様にソニー執行役員でソニーモバイルコミュニケーションズ副社長の槙公雄氏、同・商品設計部門 機構設計部 ディスプレイ技術課の松原直樹氏、同ソフトウェア技術部門 SW開発4部 Camera Image Quality 統括課長の亀崎健一氏、同ソフトウェア技術部門 Application & Services App Strategyの神宮司有加氏、そして、ソニーイメージプロダクツ&ソリューションズ プロフェッショナル・ソリューション&サービス本部 メディアセグメント事業部門 技術専任部長の岡野正氏、同プロフェッショナル・プロダクツ本部 商品設計2部門 システム設計部 1課の薗田祐介氏だ。
「シネマトグラフのカメラ」とはなにか
Xperia 1の特徴は、「マスターモニター画質」を備えた、アスペクト比21:9の4K対応有機ELディスプレイを備えていること。そして、「Cinema Pro」アプリによる「シネマトグラフ」的な撮影ができるカメラ機能を備えていることだ。
だが、Xperia 1の特徴はそれぞれを備えていることではない。前編の最後に、ソニーモバイル・松原氏はこう話している。
松原氏(以下敬称略)：Xperia 1の画質のポイントは「ディスプレイ」とか「カメラ」とか、別々にやっているわけではない、ということです。トータルで画質が設定されていて、分断されていないんです。
いままでモバイルでは、ディスプレイはディスプレイ、カメラはカメラと、分断されているところがありました。カメラについても、撮影したデータだけではなく、表示した後まで「シネマライク」であることが重要です。
というわけで、Xperia 1のカメラ関連機能の開発は、ディスプレイの開発・チューニングと共に行なわれることになった。当然、カメラについても、プロフェッショナル機器の開発を担当するソニー厚木テクノロジーセンター、通称「厚木」との密接な連携で開発がなされた。Xperia 1のディスプレイを開発し、それでの表示状況を確認しながら、カメラの開発は行なわれていったわけだ。自然と、まずはディスプレイ開発が先行し、それを使いながらカメラ部、特に「Cinema Pro」アプリの開発が行なわれていった。カメラ関連の開発を担当した、ソニーモバイル・亀崎氏も「カメラの開発の打ち合わせに、ディスプレイ担当の松原が同席しているのは新鮮だった」と笑う。
とはいうものの、シンプルな疑問も思い浮かぶ。
槙副社長は「スマホにシネマトグラフの考え方を持ち込む」ことを狙ってXperia 1の開発を指揮した。だが、その「シネマトグラフ」とはどんな状態を指すのだろうか? 「なんとなく映画的なのだろうな」というのはわかるが、多くの人にはピンと来づらいのではないか。なぜなら、我々が日常的に使うカメラは「映画のために作られたもの」ではないからだ。
現象的にいえば、21:9かつ毎秒24コマで撮影され、映画的な色合いで撮影されたものが「シネマトグラフ」ということになる。そういうことをするフィルターは今もたくさんある。だが、フィルターをかけても「映画っぽい絵」になるか、というとそうではない。
とはいえ、そう提案された開発側にも戸惑いはあったようだ。
カメラ開発を担当した亀崎氏は「最初のうちは、『シネマトグラフとはなんだろう』という疑問があった」と話す。
亀崎：いままではαのチームなどとやりとりして、静止画や動画の機能を開発してきました。「厚木」の人達でも、VENICEを作った人達とはもっとも離れたところにいるんです。そこに「行って話を聞いてきたら?」と言われても、まず受け入れてもらえるのかどうか、それが不安でした。
我々が厚木に行ったのは、9月か10月頃だと思うのですが、まずは「教えてください」というところから入りました。
私たちは、「シネマトグラフとはなにか」という正解を知りたいから行くわけじゃないですか。だから、なかなかかみ合わないんです。
「数字でコレ」とかいうものじゃなかったんですよ。ディスプレイのところでも出てきましたが、感性の部分に行き着いて、すぐには答えが出るものじゃない。「これはまったく違う文化だな」と理解して、そこからが勉強でしたね。
槙副社長の言う、そしてXperia 1が目指す「シネマトグラフ」とは、どういう世界なのだろうか?
槙：2018年の6月に、ロサンゼルスで「Cine Gear Expo」というエンターテインメント業界向けのショーがあったんです。実はですね、私はそこで、ジェームズ・キャメロン監督と、アバターの続編でVENICEを使っていただく契約を交わしたところで、それを終えてモバイルに異動してきたんです。
モバイルに異動してきて、ディスプレイも含め、色々なエンジニアと話をした後で考えたんです。私はフォトグラフ(写真)もビデオグラフ(映像)もシネマトグラフ(映画)もやってきた。でも、「なんでモバイルはシネマトグラフを手に入れようとしないのだろう?」と。ディスプレイも21:9でこんなに美しいものがあるのに。
槙：例えば、子供の成長を撮影するカムコーダー的な使い方は「よく写る」ことに留まっているんです。ドキュメンタリーとして写っていればいい、記録として残ればいいという考え方です。
ですから「記録」は残っているんですけど、「記憶的」に残してないんです。ですから、もう少しエモーショナルなバリューを残す、生活をシネマとして残す、という考え方はあってもいいのではないか、と思ったんです。「マイライフシネマ」のように。短編でもいいので、自分の生活……、デートしたり子供とどこかへ行ったり、一緒にキャンプをしたりといった映像を、映画・シネマのようなカラーバリューで残してもいいのではないか、と考えたんです。
フォトグラフ・ビデオグラフ・シネマトグラフと言葉が分かれているということは、それぞれ価値が違うからです。そして、シネマトグラフをスマートフォンの中に入れた人はまだいない。フォトグラフ・ビデオグラフはすでにちゃんとできているから、シネマトグラフもちゃんとやってみましょう、ということなんです。
まあ、キャメロン監督向けのVENICEを作ってきたばかりだったので、頭の中がシネマトグラフモードになっていた、というのはあります(笑)
だから担当者に、「厚木行って話だけでも聞いてきたら? 面白いよ」っていう風に提案したんですよ。
Xperia 1から「シネマトグラフ」の世界へ入門
そしてもうひとつ、Xperia 1でシネマトグラフを目指した理由がある、と槙副社長は話す。
槙：プロ機器、VENICEのようなシネマトグラフの世界というのは、動画の映像表現をリードしている業界なんです。そこで新たな映像表現が生まれ、どんどん裾野へと広がっていく。
そういう業界にいる人達は、いつの日か自分も映画監督になりたい、と思っている人が多いんですけど、そこに入れるのはごく限られた人達だけです。その人達がどういう風に撮影しているのか、下の人達が技術を盗んで、映像表現を広げているんです。
今は、裾野の一番広い部分はYouTuberかもしれない。その上にV-Loggerがいて、世界中にどんどんそういう「映像表現をしたい」という若者達が増えています。そういう若者達の表現を膨らませてあげられるのは、業界をリードしているVENICEのような機材なんだよ、という風に知らせてあげられると思うんです。
これは“映画用機器が頂点”という話ではないです。でも、映画業界が新しい映像表現をリードしているのは事実。若い人達は、そうした存在に触れることもできないし、存在すら知らないかもしれない。
ただ、「映画の表現はこういう風に作られているんだよ」ということを知ってもらうためにも、Xperia 1の中にそういう機能が入っていると、映像クリエイターになりたい人や、自分でも映画のような表現を考えてみたいという人が増えるかもしれない。
はたまた、映画が好きな人だったら、子供の成長をみんな記録しておいて、20年の成長記録を、同じ映画のカラーグレーディングでまとめる……といったことも出てくるかもしれない。
いままでコンシューマの手には届かなかった機械を、もっと近くに寄せてあげる、そんな役割ですよ。
カメラを考えてみてください。プロの機材とコンシューマの機材って、別れていませんよね? プロスポーツ選手用のラケットにしてもシューズにしてもゴルフクラブにしても、専用のチューニングはしているかもしれないけれど、基本は同じです。
だけど、映像については、プロ用機材は高嶺の花で手に入らないし、使い方もわからない。特殊な業界の人しか使えない機材になっている。それがどういうものなのか、コンシューマの近いところにもっていけるのは弊社のような会社しかないです。それに、手軽に触れてもらうことで、もっともっとクリエイティビティがインスパイアされれば、と思うのです。
これは、トッププロのために作り込まれた専用の機器が不要になる、という話では「まったくない」(槙副社長)。いかに、プロ機器の持っているエッセンスや価値観をコンシューマ向けの機材でも再現するか……という話なのだ。
「S709」のルックに合わせ込め!
では問題は、いかに「スマホのカメラ」にVENICEのエッセンスを詰め込んだのか、ということだ。そもそもの精度や撮影できる映像の幅でいえば、スマホのカメラとプロ機材では圧倒的な違いがある。Xperia 1ではどうやって「シネマトグラフ」の世界を持ち込んだのだろうか? 「言い過ぎると他でもできるようになるので」と槙副社長は笑うが、「厚木」側からCinemaPro撮影機能についてサポートした薗田氏は次のように説明してくれた。
薗田：一番わかりやすくいえば、「S709」というルックアップテーブルを再現している点でしょうか。
S709は厚木で作ったルックアップテーブルですが、これをまずは教師として真似ていった、という形です。もちろん、デバイスとしては小さなものなのでマスターモニターとは違うのですが、最終的な絵の品位をS709に近づけていったんです。
「ルックアップテーブル(LUT)」とは、撮影した映像を色補正するために使うデータテーブルのこと。カメラの特性に合わせて作られており、さらに、その作り方によって、映像の色調やイメージが大きく変わる。「S709」はVENICEに合わせて作られたLUTで、非常に「シネマライク」な絵作りが特徴だ。CinemaProアプリの場合、Lookを「VENICE CS」設定で撮影した時の映像がそれにあたる。
薗田：僕たち(VENICE開発チーム)が横にいてチューニングしているので、単に表面的に真似ているのではなく、どこをポイントとしてチューニングするかをしっかり見極めながらやっています。
S709は弊社のシネマカメラの標準を示したものなんですが、シネマカメラというのはフィルムの時代から特殊で。様々なクリエイティビティに対する知見や工夫の積み重ねでできたものですが、デジタルの今も、フィルムの延長線上にあって、そのノウハウをキープしながら、新しいことをやっています。過去の知見をすべてVENICEに搭載したのですが、けっこう、業界での評判はいいんです。そのエッセンスをさらにスマホに採り入れました。
……実は僕も、上位マネージャーから「ちょっとソニーモバイルとミーティングしてきて」とだけ言われて、よく分からず行ったんですよ、最初は。まさかVENICEを再現しろ、と言われるとは思いも寄らず、最初はなにを言っているのかよくわからなかったんですよね(苦笑)
ただ、だんだんやっていくうちに「これは面白そうだな」という気持ちになってきて。それで、しっかりとエッセンスをXperia 1に入れよう、という状況になったんです。
さらに、スマホならではの特徴が、Xperia 1をVENICEとも、他のプロ機器とも違うものにした。そこが、前出の「カメラもディスプレイも一体でチューニング」という部分だ。
槙：どんな機材でも、「マスターモニター越しに撮影をするもの」ってないんですよ。撮り終わったものをみんなでマスターモニターで見る、は当然ありますけど。
撮影中に見ているビューファインダーがマスターモニターである、という機器は、Xperia 1だけなんです。それだけ色再現が忠実だということです。
槙副社長の言う通り、Xperia 1の特徴は「BT.2020のHDR映像を、BT.2020の色域を持つモニターで見ながら撮影する」ことにある。将来、HDR対応カメラのファインダーの色域が改善する可能性はあるが、その先駆けで、スマホの持つ特性を活かしたものとして「シネマ的な絵を実際に見ながら撮影する」スマホになっているのが特徴なのである。
「シネマ」のためにカメラアプリを分ける
一方で、この結果、Xperia 1には2つのカメラアプリが搭載されることになった。一般的な写真・動画撮影用のカメラアプリと、シネマトグラフ用の「CinemaProアプリ」である。両者はアプリが分かれているだけでなく、UIも操作方法もまったく異なっている。こういう形になったのはなぜだろうか?
槙：シネマトグラフとフォトグラフは違いますからね。カメラ機能では映画は撮らないですよ。同様に、VENICEは静止画を撮る機材じゃないですから、その流れを汲めば、別のものになります。機材が違えば機能も違う。そういう意味です。
画角が21:9での静止画撮影にも対応していませんが、「シネマ的な静止画」が欲しいのであれば、21:9の毎秒24コマ撮影された映像があるんだから、そこから切り出せばいいんじゃないか、と考えています。
実際、「カメラ」アプリと「CinemaPro」アプリでは、UIがまったく違う。使われている言葉も違う。わかりやすい例でいえば、シャッタースピードと「シャッター角度」の表記。「カメラ」アプリではシャッターを開けておく時間(1/100など)で表現されているが、「CinemaPro」アプリでは角度表記だ。フィルム時代のシネマカメラはローリングシャッターであり、その開口角度で露出時間が変わる。だから「角度」表記である。UIの持つ意味がまったく違うわけだが、「CinemaPro」ではあえてVENICEと同じ表記が採用されている。シネマトグラフに使う、シネマトグラフを学ぶにはそうべきだ、という判断からだ。
「CinemaPro」アプリの開発を担当した神宮司氏も、元々はスマホ開発畑であり、シネマトグラフの経験はない。そのため、VENICEに合わせる、という話になって「戸惑いはあった」という。
神宮司：シネマの世界はまったく触れたことがないので、まずはVENICEを触って、それがどういう背景で生まれて、どういう意味を持つのか、という点を勉強するところから始めました。それぞれ、どういうワークフローの中で使われるのかを知ると、すべてに意味があるんです。
そして、理解したものをいかにスマートフォンという端末に落とし込むのか、という形で進めていきました。VENICEのオリジナルのデザイナーの方に学びながらのことです。
通常のカメラは1人で使うものだが、シネマカメラはそうではない。撮影者と撮影助手がいて、各種セッティングの変更は撮影助手の仕事だ。だからVENICEのボタンには、撮影者よりも、撮影助手が触りやすく、確認しやすくレイアウトされているものも少なくない。こうした部分は映画撮影ならではのニーズに基づくもので、完全にその世界に特化したものだ。
だが、スマートフォンは1人で使うものなので、VENICEとまったく同じに作るわけにはいかない。そのため、「意図を理解し、エッセンスをスマホに持ち込む」ことが重要になる。
神宮司：シネマだからといって、あえて難しくして、ハードルを上げたつもりはないです。まずは、Lookを変えながらタッチしてみる、という作りにしています。もっとも重要な撮影のためのポリシーやエッセンスを吸収し、スマホのUIの中で「想像が効く」形にブラッシュアップし、最後まで試行錯誤を重ねました。
ここで、筆者が見たXperia 1のカメラについての感想も触れておこう。
Xperia 1のカメラは「3眼」だが、他のスマホカメラとは考え方がちょっと違う。他社は複数のカメラを統合し、必要に応じて切り替えたり画像を合成したり、といった使い方が基本。ユーザー側は「センサーの切り替え」を強く意識しない。だが、Xperia 1は3つのカメラが「標準(26mm)」「望遠(52mm)」「広角(16mm)」と明確に別れており、切り替えながら使うようなイメージになっている。発表時にはソニー側の開発者も「レンズを切り換えるイメージ」と説明している。「CinemaPro」アプリがあるだけでなく、その辺も少し考え方が違う。「CinemaPro」アプリでも、カメラの切り替えはまるでレンズの切り替えのように表現されており、ここに、Xperia 1と他のスマホとの違いが集約されている、と筆者は感じた。
「CinemaPro」アプリでは、3眼の切り替えが「レンズ切り替え」として表現されている。これは、スマホカメラとしてのXperia 1の設計の特徴を示すものだ。
一方、ズームは2倍以上だとデジタルズームであり、高倍率競争が続くスマホの中では若干見劣りする。この点は、ある種の割り切りだろう。
組織を超えるには「お作法」のリスペクトが重要
話を聞いていくと、やはりXperia 1の特徴は「スマホ部隊と厚木とのコラボレーション」にあると感じる。ソニーはこれまでも、「ソニー一丸となったものづくり」という言葉を何度も使ってきた。Xperiaはまさにそうした存在だった。だが、そこでの「ソニー一丸」の中に、厚木の存在は見えなかった。協力がなかったとはいわないが、師弟関係のような形で作り上げた、というエピソードはない。
どの企業も、大きくなれば部署による文化の差、利害関係が生まれてしまう。「社内の知見を活かして」という言葉が時に空虚なものに聞こえるのは、その難しさを多くの人が知っているからだ。こうしたことは、世界的なヒットを飛ばす海外の大手メーカーも無縁ではない。
しかし今回、Xperia 1では従来以上に「一体感」があった。その方向性は「シネマトグラフをスマホに持ち込む」という1つのベクトルに沿ったもので、すべての機能がオールソニーなのか、というと違うかもしれない。だが、過去にできていなかったことができているように、筆者には見受けられる。
今回は、なぜそれができたのだろうか?
槙：「組織」ですから、組織の文化・風土はあります。ただそこには、他を受け入れないという文化はない。とはいえ、一方で「お作法」はあるんです。
私はそれぞれの部隊で仕事をしてきましたから、部隊が違うと「ああ、ここはこれを大切にしているんだな」という部分がわかってきました。
重要なのは、それぞれが大切にしている部分を「リスペクトする」ということ。それが技術を学ぶ上で大切です。技術を学びたいと思っていても、「その部隊が大事にしている魂はなんなのか」がわからず、土足で踏み込んでしまうこともあるんです。
ですから、「ここを教わってごらん」とか「ここを大切にするといいよ」といった風に、色々とヒントを与えながらやりました。
結局、現場が盛り上がって融合してくれるのが一番なんですよ。みんなの技術が上がればベストですし。技術交換していくのがソニーの良さだし、持ち味だと思います。融合させることでどんなものができるか、私も楽しみにしていました。
実は最初、できないだろう、と思っていたんですよ(笑)。だからできた時はびっくりしました。
エンジニアが食いついていって、岡野さんたちに「あとちょっと」って言われるところまで行った。普通そんなことあり得ないんですよ。甘い言葉を吐いてくれるような方々じゃないので。
「がんばったなー、いいところまできたよ。でももう少し」。そこまできたのがすごいです。
エンジニア側はどう見ていたのだろうか? ある程度期待は持っていたものの、最終的な追い込みは大変だったようだ。
岡野：デバイスの素性として「ある程度のレベルまで行けるものだろうな」という予備知識はありました。ですが、画像処理が8ビットではどうしようもない。画像処理が10ビット相当になっている、ということを聞いたこと、ピーク輝度がある高い値まで出る、ということを聞いた時点で、「このデバイスは筋としてはいいだろう」と思いました。
あとは、やる人達がどこまで謙虚に我々と一緒にできるか、というところが大きいですね。「人」の力が。
おそらくですが、どう変わっていくのか、成長点が共有できたことが大きいんでしょうね。直しても直しても、千日手のようになかなか進歩していかないと、つまらなくなるので。
とはいえ、一回ヤバイ瞬間はあったよね。
松原：ヤバかったですね。あちらを直せばこちらがズレる、というモグラ叩き状態になって。
岡野：難しかったのはやっぱり人の肌なんですけど。外国人に合わせると日本人に合わず、日本人で合わせると今度は外国人の肌でおかしい、という……。
槙：あのときはちょっと止まってたね。
岡野：そこで、新しいマスターモニターである「BVM-HX310」のエンジニアを連れてきて助言を得たんです。HX310は液晶を二枚貼り合わせて作っていて、有機ELのX300とはまたまったく違う。違うデバイスでいかに基準を合わせるのか、というノウハウを持っていた。彼からの助言で、小手先じゃなく、もう少し基本の部分を押さえる、というところに戻ってやり直したんです。
松原：頭ではわかっていたんですが、ではそれをAndroid上でどう実現するのかというところもあり、相当、試行錯誤し、工夫してやっていきましたね。
ビデオ側の苦労もかなり似ている。そういう「スマホの特性」を活かしつつ、プロ機器とは違うデバイスの特性に合わせたチューニングこそがポイントだ。
薗田：まず特定の評価環境で、数値的な部分を合わせます。そうすると、スマートフォンが使うデバイスによる特性の違いが見えてきて、(想定する表示とは)合いません。
そこでなにをやりますか? がエンジニアの腕の見せどころで、秘伝のタレなんです。僕ら(厚木側)は言うだけなのでいいんですが、ソニーモバイル側の方々は一生懸命に……(笑)
亀崎：毎週持ち帰って調整し、持ってきてお見せして「やっぱりここがダメだね」とダメだしを受けて……という感じでしたね。
槙：それを調整中のディスプレイでやってるんだよね。
松原：だから結局最後には、ディスプレイ側もビデオ側も一緒になってやっていました
岡野：真ん中にX300を置いて、そこにも絵を出しつつ。
亀崎：VENICEで撮った絵とXperia 1で撮った絵を出し、それをX300に表示したものとXperia 1に表示したものを比較しつつ……ですね。
岡野：これもまた、「昼のライトの中の映像は合ってるけど、夜のシーンだとどうなの……、だめじゃん! 」みたいな(笑)
元々は「話を聞いてくれるんだろうか」「畑が違うから」と離れていたエンジニア達が、最終的には笑い合いながら共に作った成果を語り合う。これができたことが、Xperia 1の最大の成果ではないだろうか。
一方、これらのことは、「普通のスマホ」を求める人には大きなプラスではないだろう。21:9の画面比や快適な操作がポイントであり、あくまで「付加価値」に過ぎない、と、自分で使ってみても感じる。その「付加価値」が刺さる人は少ないかもしれないが、現状唯一無二のものである、というのがXperia 1の特徴だ。デバイスを買ってくればできる付加価値は陳腐化する。そうでなく、他のスマホメーカーにはもっていない基準やノウハウをつぎ込んだ付加価値だからこそ、Xperia 1は尖っている。
競争が激しいスマホ市場で、しかも量産効果やコスト以外で戦うには、結局、自分達だけの価値を前面に出すしかない。その点を、ソニーが本当に「一丸となって」作れるようになったということが、Xperia 1の面白みなのである。