RIKEN
Center for Advanced Photonics 2018 Annual Report
光量⼦⼯学研究センター 2018 Annual Report
RIKEN Center for Advanced Photonics https://rap.riken.jp/
RIKEN Center for Advanced Photonics 2018 Annual Report
光量子工学研究センター
RIKEN Center for Advanced Photonics
エクストリームフォトニクス研究領域 Extreme Photonics Research Group
アト秒科学研究チーム Attosecond Science Research Team 超高速分子計測研究チーム Ultrafast Spectroscopy Research Team
生細胞超解像イメージング研究チーム Live Cell Super-Resolution Imaging Research Team 生命光学技術研究チーム
Biotechnological Optics Research Team 時空間エンジニアリング研究チーム Space-Time Engineering Research Team
画像情報処理研究チーム Image Processing Research Team
先端レーザー加工研究チーム Advanced Laser Photonics Research Team
テラヘルツ光研究領域 Terahertz-wave Reseach Group
テラヘルツ光源研究チーム Tera-Photonics Research Team テラヘルツイメージング研究チーム Terahertz Sensing and Imaging Research Team
テラヘルツ量子素子研究チーム Terahertz Quantum Device Research Team
光量子技術基盤開発領域
Advanced Photonics Technology Development Group
センター長室
Office of the Center Director
緑川 克美 Katsumi Midorikawa
緑川 克美 Katsumi Midorikawa 田原 太平 Tahei Tahara
中野 明彦 Akihiko Nakano 宮脇 敦史 Atsushi Miyawaki
香取 秀俊 Hidetoshi Katori
横田 秀夫 Hideo Yokota
杉岡 幸次 Koji Sugioka
大谷 知行 Chiko Otani
南出 泰亜 Hiroaki Minamide 大谷 知行 Chiko Otani
平山 秀樹 Hideki Hirayama
和田 智之 Satoshi Wada
... 4
... 6
... 8
... 10
... 14
... 12
... 16
... 20
... 26
... 28
... 24
光量子制御技術開発チーム Photonics Control Technology Team 先端光学素子開発チーム Ultrahigh Precision Optics Technology Team 中性子ビーム技術開発チーム Neutron Beam Technology Team 技術基盤支援チーム Advanced Manufacturing Support Team 和田 智之 Satoshi Wada 山形 豊 Yutaka Yamagata 山形 豊 Yutaka Yamagata 大竹 淑恵 Yoshie Otake ... 30
... 32
... 34
... 36
アドバイザリー・カウンシル RAP Advisory Council (RAPAC) はじめに / Directorʼ s Message 組織図 / Organization Chart 業績リスト / Publications, etc. プレスリリース / Press Releases ニュース、会議・イベント / News, Meetings, Events 受賞・表彰 / Awards 研究紹介記事など / Articles フォトン操作機能研究チーム Innovative Photon Manipulation Research Team 田中 拓男 Takuo Tanaka ... 22
眼疾患クラウド診断融合連携研究チーム Cloud-Based Eye Disease Diagnosis Joint Research Team 秋葉 正博 Masahiro Akiba
理化学研究所 RIKEN
As of March 31, 2019Preface
RAP was inaugurated in April, 2013 and we start its second stage in 2018. RAP is working to realize the dream of making the invisible visible. The center is pursuing research to push the possibilities of light to the extreme, in order to allow us to see previously invisible things. For example, attosecond lasers make it possible to see the movements of electrons, metamaterials are allowing us to manipulate light waves, and we can conduct environmental monitoring with relativistic geodesy using ultra precision optical lattice clocks and nondestructive inspection of concrete structures with a compact neutron source. Being able to see objects helps us to understand and manipulate them. Besides, the work of RAP focuses not simply on making discoveries that will be recognized by the research community, but also on contributing to society by developing practical applications. In 2018, several world-leading outputs have been achieved, such as, “High precision detection of early-stage cancer by AI-assisted image inspection,” “Proof of new amplification scheme for ultrashort infrared pulsed lasers,” and “High temperature operation of THz quantum cascade lasers.” Please kindly review the attached report. I would like to take this opportunity to express my gratitude for your continued advice and assistance. Katsumi Midorikawa Director, RIKEN Center for Advanced Photonicsはじめに
2013 年 4 月に発足した光量子工学研究領域は、6 年目を迎えた 2018 年 4 月に光量子工学研究センター（RAP）となり、第 二期を開始しました。 光量子工学研究センターでは、光の新しい使い方を提案・追究し、今まで見えなかったものを見ようとしています。例えば、 アト秒パルスレーザーによる電子の観察、メタマテリアルによる光の操作、超高精度な光格子時計による相対論的な測地学、 小型中性子源によるコンクリート構造物の非破壊検査・・・。見ることができれば、理解し、制御することにも近づきます。 光の可能性は無限で、私たちが到達できているのはほんの一部です。光量子工学研究センターは、光科学の地平を広げ、新 しい光技術を社会に役立てていきます。 2018 年度は光量子工学研究センターとしての初年度にあたり、「AI 画像検査で早期胃がん領域の高精度検出に成功（画像 情報処理研究チーム）」、「赤外超短パルスレーザーの新しい増幅法の実証（アト秒科学研究チーム）」、「高温動作可能な高出 力テラヘルツ量子カスケードレーザー（テラヘルツ量子素子研究チーム）」などの顕著な研究成果が出ました。 皆様には、本報告をご高覧のうえ、引続きご指導並びにご助言を賜りますようお願い申し上げます。 緑川 克美 光量子工学研究センター センター長 ... 2... 3
... 38
... 68
... 70
... 74
... 76
... 18 量子オプトエレクトロニクス研究チーム
Quantum Optoelectronics Research Team
加藤 雄一郎 Yuichiro Kato
サブ波長フォトニクス研究領域 Subwavelength Photonics Research Group
中野 明彦 Akihiko Nakano
エ
エクストリームフォトニクス研究領域
チームリーダー / Team Leader
緑川 克美
工学博士Katsumi Midorikawa,
D. Eng.アト秒科学研究チーム
FY2018 Core Members (専任研究員) 鍋川 康夫、
高橋 栄治、永田 豊、小林 徹 (研究員) 磯部 圭佑、沖野 友哉、
Yuxi Fu、藤原 孝成
(基礎科学特別研究員) Yu-Chieh Lin (特別研究員) Bing Xue
(技師) 棚橋 晃宏 (研究技術員) 若林 多起子 (Senior Research Scientist)
Yasuo Nabekawa, Eiji Takahashi, Yutaka Nagata, Tohru Kobayashi (Research Scientist) Keisuke Isobe,
Tomoya Okino, Yuxi Fu, Takashige Fujiwara
(Special Postdoctoral Researcher) Yu-Chieh Lin
(Postdoctoral Researcher) Bing Xue
(Technical Scientist) Akihiro Tanabashi (Technical Assistant) Takiko Wakabayashi
研究テーマ
9アト秒パルスの発生と計測 9原子・分子のアト秒ダイナミクス 9XUV領域における非線形光学 9超短パルス高強度レーザー 9多光子イメージング
Research Subjects
9Generation and measurement of attosecond pulses 9Attosecond dynamics in atoms and molecules 9XUV nonlinear optics
9Ultrashort intense lasers 9Multiphoton microscopy
研究成果／Research Output
Yb:YAG Thin Diskモード同期 レーザー共振器中での高次高 調波発生(フォトンリング）
• MHz級の超高繰り返しフェムト秒コヒーレントXUV光源
• Yb:YAG Thin-Diskを用いた高エネルギーモード同期レーザー 発振器の実現
• リング型共振器による励起レーザー光のリサイクル化
• 複数ポートによるマルチユーザー動作
MHz Repetition Rate Multi-port Intra-Cavity High Harmonic Generation in a Yb:YAG Thin Disk Mode-Locked Oscillator
• MHz repetition rate femtosecond coherent XUV source
• High energy mode-locked oscillator with Yb:YAG thin disk.
• Pump pulse recycling by using a ring-type resonator
• Multi-user and multi-wavelength operation
E
Extreme Photonics Research Group
Attosecond Science Research Team
高強度の超短パルスレーザーを希ガス等に集光し て得られる高次高調波は高輝度コヒーレント真空紫 外光源として超高速光電子分光やアト秒科学に利用 されています。しかし、従来の手法では、その繰り 返し周波数がkHz程度に制限されてきました。そこ で我々は、MHz級の繰り返し動作をするために、
レーザー共振器内に複数の高次高調波発生ポートを 備えた励起光再生利用型の新しい高次高調波光源の 実現を提案してきました(図1）。本装置ではモード 同期発振器内にもうけた集光位置での高次高調波発 生という手法を用いているため、エンハンスメント 共振器のような波長スケールの共振器制御は不要で あり、安定で効率的な動作が期待できます。また、
共振器中の集光点を増やすことで、ほかの手法では 困難な複数の高次高調波発生ポートを持たせること が可能であります。
今回の実験では、繰り返し周波数3.11MHz、共振 器内パルスエネルギー0.36mJ、パルス幅610fs、中 心波長1031nmのモード同期レーザー共振器内に高 次高調波発生のための設けた2箇所の集光点近傍に 希ガスジェットを設置し、高調波の発生実験を行い ました。このときの集光強度は8.4×1013 W/cm2と 見積もられ、高次高調波発生には十分な強度であり ます。発生した高次高調波はサファイアのブリュー スター板により基本波と分離され、分光器の入射ス リットへ集光しました。2箇所の集光点に同時に異 なる希ガス（Ne, Ar）を導入した場合でもモード同 期動作は維持され、高次高調波の発生が観測され、
Neでは最高で43次高調波まで確認されました（図 2）。今回の結果により、複数ポートを有するMHz 級の高繰り返しコヒーレント真空紫外光源への道を 拓くことができました。
図1 モード同期レーザー共振器内高次高調波発生装置 Fig. 1 Intra-cavity high harmonic generator with a ring-type mode- locked oscillator
The increase of the repetition rate of high-order harmonic pulses up to multi-MHz is desired to explore the wide range of applications in particular photoemission spectroscopy. However, the repetition rate of the high harmonic pulse is limited to a range of multi kHz in accordance with a repetition rate of the fundamental laser amplifier.
We propose a promising method of high repetition high-order harmonic generation (HHG) inside the laser cavity of a high-power mode-locked oscillator.
For realizing our concept, we have designed and developed a high-pulse-energy Yb:YAG thin disk mode-locked oscillator with a ring cavity. In order to achieve high pulse energy at an ultrahigh repetition rate, the cavity length of 100 m which corresponds to the repetition rate of 3 MHz is employed (Fig. 1).
In this work, we demonstrate the operation of this high-pulse-energy Yb:YAG thin disk oscillator with the addition of multiple intra-cavity HHG ports. To obtain HHG, noble gas jets are placed at two focal points in the mode-locked oscillator cavity.
Assuming a focal radius of around 30 mm, the intra- cavity peak intensity is estimated to be 8.4×1013 W/cm2, which is sufficient for HHG. Two HHG ports are simultaneously operated, and it is shown that the harmonic order in each port can be independently controlled by choosing an appropriate gas medium for each port (Fig. 2). Our method paves the way to MHz repetition-rated high- power XUV sources for multi-user or multi-color experiments.
図2 ２つのポートで観測された高次高調波スペクトル Fig. 2 Observed high harmonic spectra from two different ports
エ
エクストリームフォトニクス研究領域
チームリーダー / Team Leader
田原 太平
理学博士Tahei Tahara,
D. Sci.超高速分子計測研究チーム
FY2018 Core Members
研究テーマ
9 超短パルス光の発生とそれを用いた超高速分光計測法の開発 9 超高速分光を用いた凝縮相分子ダイナミクスの解明と制御 9 非線形分光を用いた界面分子ダイナミクスの観測と解明
Research Subjects
9 Generation of ultrashort pulses and development of ultrafast spectroscopic methods
9 Elucidation and control of molecular dynamics in the condensed phase by ultrafast spectroscopy
9 Observation and elucidation of molecular dynamics at interfaces by nonlinear spectroscopy
研究成果／Research Output
光受容タンパク質における、発色団の光反応より 速く起こるタンパク質の構造変化を直接観測
• 光受容タンパク質における超高速構造ダイナミクスを観測 する新たな手法を開発
• 光駆動プロトンポンプ、バクテリオロドプシンにおける発 色団近傍タンパク質の超高速応答の観測に成功
• 従来考えられてきたレチナールタンパク質の動作機構を覆 す新たなモデルを提唱
Observation of ultrafast protein response prior to the chromophore dynamics in a photoreceptor protein
• Development of a new method to probe ultrafast protein response in photoreceptor proteins.
• Succeeding in observation of ultrafast protein response prior to the chromophore dynamics inside the light-driven proton pump Bacteriorhodopsin.
• Proposed a new mechanism of the functional activation of retinal proteins.
Reference: S. Tahara, H. Kuramochi, S. Takeuchi, T. Tahara, submitted.
(専任研究員)
石井 邦彦(兼務)、二本柳 聡史(兼務) (客員研究員)
倉持 光 (特別研究員)
Ahmed Mohammed Pardeep Kumar (アシスタント)
道幸 智恵
(Senior Research Scientist) Kunihiko Ishii (c),
Satoshi Nihonyanagi (c) (Visiting Scientist)
Hikaru Kuramochi (Postdoctoral Researcher)
Ahmed Mohammed Pardeep Kumar (Assistant)
Tomoe Michiyuki
6
E
Extreme Photonics Research Group
Ultrafast Spectroscopy Research Team
光受容タンパク質は私たち生物が生命活動を維 持する上で欠かせない重要な分子です。一般にこ れらのタンパク質では、発色団と呼ばれる部分が 光を吸収してフェムト〜ピコ秒の時間領域で小さ な構造変化を起こします。そしてこの小さな変化 が周辺アミノ酸環境の変化、さらにはより高次の タンパク質の構造変化へと繋がり、最終的に機能 が誘起されると考えられてきました。一方、こう した発色団の速い変化に対して実際に周辺タンパ ク質がどのように応答するかは実験的な困難から 今まで明らかにされてきませんでした。
これに対して研究チームはフェムト秒領域で起 こるタンパク質の変化を観測できる、「深紫外 フェムト秒誘導ラマン分光法」を開発し、光エネ ルギーを使ってプロトン輸送を行う代表的な光受 容膜タンパク質、バクテリオロドプシンの反応初 期過程を研究しました。その結果、発色団の光反 応（レチナール発色団の異性化）が完了するより も速く、周辺タンパク質の変化が起こっているこ とが分かりました。この結果はこれまで信じられ てきた、発色団の光反応が光受容タンパク質の機 能の始まりである、という定説を覆す画期的な発 見です。この研究は光受容タンパク質の機能発現 メカニズムの理解を大きく変えるもので、今後光 受容タンパク質の研究に新たな展開が期待されま す。
Photoreceptor proteins play an indispensable role in light-energy conversion for living organisms. It has been believed that the function of these proteins is initiated by ultrafast, photo-induced structural change of the embedded chromophore, which leads to change in the surrounding environment and subsequent higher-order structural change of the protein.
However, how the surrounding protein environment responds to the photoexcitation of the chromophore has yet to be elucidated.
Ultrafast Spectroscopy Research Team developed deep-ultraviolet resonance femtosecond stimulated Raman spectroscopy, which can selectively monitor the femtosecond response of the protein moiety surrounding the chromophore, and studied the primary process of the light-driven proton pump, Bacteriorhodopsin.
Surprisingly, it was found that the protein response occurs within ~100 fs after photoexcitation, preceding the isomerization of the chromophore. This finding challenges the present understanding of the activation mechanism of the photoreceptor proteins.
Fig. (A) Crystallographic structure of Bacteriorhodopsin around the retinal chromophore. (B) Deep-ultraviolet resonance femtosecond stimulated Raman spectra of Bacteriorhodopsin. (C) Temporal profiles of the intensity change of the selected Raman bands. The change in the Raman signals of the aromatic amino acid residues is observed immediately after the photoexcitation, preceding the trans-cis isomerization of the chromophore.
7
エ
エクストリームフォトニクス研究領域
チームリーダー / Team Leader
香取 秀俊
博士(工学)Hidetoshi Katori,
D. Eng.時空間エンジニアリング研究チーム
FY2018 Core Members
研究テーマ
9 相対論的測地技術の開拓 9 可搬型光格子時計の開発 9 光格子時計の長期安定動作の実現
Research Subjects
9 Relativistic geodesy with optical lattice clocks 9 Development of portable optical lattice clocks 9 Long-term stable operation of optical lattice clocks
研究成果／Research Output
光格子時計の時間の進みの違い を利用した標高差の測定
• 可搬型光格子時計の試験運転
• 高さ1mに起因する時間の進みの違いを光格子時計で測定
Measurement of time dilation corresponding to gravitational redshift of 1-meter height difference using transportable optical lattice clocks
•
Test operation of transportable optical lattice clocks
•
Measurement of time dilation for 1-m height difference using optical lattice clocks
(専任研究員) 高本 将男 (兼務) (研究員)
大前 宣昭、山口 敦史 (兼務) (基礎科学特別研究員)
岡場 翔一、Andrew Hinton (Senior Research Scientist) Masao Takamoto (c) (Research Scientist)
Noriaki Ohmae, Atsushi Yamaguchi (c) (Special Postdoctoral Researcher)
Shoichi Okaba, Andrew Hinton
E
Extreme Photonics Research Group
Space-Time Engineering Research Team
一般相対性理論の効果により、重力ポテンシャ ルの異なる場所では時間の進み方が異なります。
地球上では、標高が高いほど時間が速く進みます。
したがって、標高の異なる2地点に精密な原子時 計を設置すると、両地点の標高差が、時計の進み 方の差（重力シフト差）として検出されます。例 えば、18桁精度の原子時計を用いると、1 cmの標 高差を検出することができます。時空間エンジニ アリング研究チームでは、これまでに18桁精度を 有する超高精度な光格子時計を開発してきました。
我々は、この高精度な時計を、相対論的な効果を 利用した標高測定（相対論的測地技術）へと応用 することを目指しています。
実験室外での測地実験のために、本研究チーム では、光格子時計の小型化・可搬化を進めていま す。製作した2台の可搬型光格子時計を用いて、
図1(a)のように1台を1 m持ち上げ、2台の時計の 進みの違いに相当する、時計周波数シフト0.04 Hz を観測しました（図1(b)）。
今後は、可搬型光格子時計を用いて、従来の水 準点を置き換える量子水準点の構築、地殻変動の 検出、地下資源の探索など、社会を支える基盤技 術として様々な分野への応用を目指します。
Clocks in different gravitational potentials tick differently due to a relativistic effect, with clocks in higher positions ticking faster. Precise measurement of the frequency difference between two clocks at different heights, therefore, tells us their height difference. For example, atomic clocks with 18-digit accuracy enable us to determine the height difference with 1 cm accuracy. The Space-Time Engineering Research Team has been developing optical lattice clocks with 18-digit accuracy. The team is exploring the applications of such high-accuracy atomic clocks to geodetic measurements through a relativistic effect.
Development of transportable optical lattice clocks is also a key issue to use clocks as a practical tool for geodetic measurements. We have developed a transportable systems and demonstrated the detection of 1 meter height difference using two clocks as shown in Figs. 1(a) and 1(b). Such a clock-based gravitational potential meter will be applicable to a variety of fields, for example, quantum benchmark as a replacement for the conventional benchmark, social infrastructure such as monitoring the earthʼs crust and searching for underground resources.
図１: (a) 2台の可搬型光格子時計システム。標高差約1m違うときの時間の進みの違いを測定。(b) 2台の時計の時間の進みの違いを示す 周波数の差の実測データ。1mの高さの違いよる周波数の差（周波数差0.04 Hz）を検出。
Fig. 1: (a) Transportable optical lattice clock. One system is lift up approximately 1 m. (b) Measured frequency difference of two optical lattice clocks.
= 0 m
8 min. average 1 m
Frequency difference of two clocks (Hz)
Time (minute) (a) (b)
1 m
エ
エクストリームフォトニクス研究領域
チームリーダー / Team Leader
加藤 雄一郎
Ph.D.Yuichiro Kato,
Ph.D.量子オプトエレクトロニクス研究チーム
FY2018 Core Members
研究テーマ
9 室温動作通信波長単一光子源の開発 9 極低消費エネルギー発光素子の開発 9 新機能性光センサーの開発
Research Subjects
9 Room-temperature telecommunication-wavelength single photon source
9 Electroluminescence devices with extremely low energy dissipation
9 Optical sensors with novel functionalities
研究成果／Research Output
シリコンフォトニック結晶ナノ 共振器の双共鳴によるグラフェ ンのラマン散乱増強
•
フォトニック結晶により単層グラフェンのラマン散乱の
増強に成功
•
局在導波モードと共振器モードという二種類のモードを
Gʻラマン散乱の励起波長と散乱波長に同時に共鳴
•
ラマン散乱強度を未加工の基板部分の60倍に増強
Enhanced Raman scattering of graphene using double resonance in silicon photonic crystal nanocavities
•
Raman scattering from monolayer graphene is enhanced by photonic crystals
•
Simultaneous resonance of Raman excitation and emission to a localized guided mode and a cavity mode
•
An enhancement of Raman intensity by a factor of 60 compared to that on un-patterned silicon substrate
Reference: W. Gomulya, H. Machiya, K. Kashiwa, T. Inoue, S. Chiashi, S. Maruyama, Y.
K. Kato, “Enhanced raman scattering of graphene using double resonance in silicon photonic crystal nanocavities”, Appl. Phys. Lett. 1113, 081101 (2018).
(特別研究員)
田中 駿介、大塚 慶吾、
石井 晃博 (兼務) (アシスタント)
新坂 頼子 (兼務) (Postdoctoral Researcher)
Shunsuke Tanaka, Keigo Otsuka, Akihiro Ishii (c)
(Assistant) Yoriko Nissaka (c)
10
E
Extreme Photonics Research Group
Quantum Optoelectronics Research Team
炭素原子一層からなるグラフェンは光との相互 作用や非線形性が強いことから光デバイスへの応 用が期待されており、光検出器・過飽和吸収体・
光スイッチなどにおける実証実験の例も存在しま す 。 し か し 、 光 源 と し て の 利 用 に は 、 バ ン ド ギャップがなくキャリアの再結合による発光は起 きないという物性が本質的な課題となっています。
一方で、グラフェンの物性評価によく用いられる ラマン散乱は、発光再結合とは異なる発光過程に よるもので、特に単層グラフェンのGʻバンドはグ ラファイトよりも強いことが知られています。ラ マン散乱を微小共振器に結合することで、グラ フェンからの発光をさらに増強できる可能性があ ります。
本研究では二次元フォトニック結晶共振器にお ける双共鳴を利用することで、単層グラフェンの ラマン散乱の増強に成功しました。フォトニック 結晶の格子定数と空孔直径を調節することで、局 在導波モードと共振器モードという二種類の共鳴 モードを使った双共鳴をG'ラマン散乱の波長に合 わせました。
励起分光測定データでは、G'バンドを共鳴させ たときにラマン散乱強度が増強されていることが 確認できました。また、イメージング測定により、
フォトニック結晶共振器の位置でのみ増強が起き ていることも確認できています。未加工の基板部 分と比較すると、およそ60倍の増強度が得られる ことが分かりました。
図2：フォトニック結晶上のグラフェンのフォトルミネッ センス励起分光
Fig. 2: Photoluminescence excitation map of the graphene on photonic crystal
図1：グラフェン転写後のフォトニック結晶共振器の電子 顕微鏡写真
Fig. 1: Scanning electron microscope image of photonic crystal covered by graphene
Emission wavelength (nm) Ȝex (nm)
840 860 880 900 920 940 960
200 400 600
0 Iem (counts/s) G’
1100 1200 1300 1400
graphene
20 μm
1 μm
Graphene, a two-dimensional layer of carbon atoms, is a promising material for optoelectronic devices due to its strong light-matter interactions and optical non-linearity. Application of graphene as a light source, however, still remains a challenge because its gapless nature prevent the interband radiative recombination. Another emission process in graphene, known as Raman scattering, has been widely used to investigate the graphene properties. In particular, Gʼ Raman scattering in monolayer graphene is stronger than graphite. Coupling of the Raman scattering to the nanocavity is one possible pathway for increasing light emission from graphene.
In this work, we demonstrate enhancements of Raman scattering from monolayer graphene on two-dimensional photonic crystals using double resonances, which originate from simultaneous enhancements by a localized guided mode and a cavity mode. The double resonance can be tuned to the Gʼ Raman scattering by engineering the hole diameter and lattice constant of the photonic crystal.
We measure the excitation wavelength dependence and observe that the Raman intensity increases when the Gʼ mode is tuned to the double resonance. Spatial imaging measurements confirm that the enhancement is localized at the photonic crystal cavity, and we obtain an enhancement of the Raman intensity by a factor of 60 compared to that on un- patterned silicon substrate.
11
サ
サブ波長フォトニクス研究領域
チームリーダー / Team Leader
中野 明彦
理学博士Akihiko Nakano,
D. Sci.生細胞超解像イメージング研究チーム
FY2018 Core Members
研究テーマ
9 超解像ライブイメージング顕微鏡技術の開発 9 細胞内膜交通の分子機構
Research Subjects
9 Development of super-resolution live imaging microscopy 9 Molecular mechanisms of intracellular membrane trafficking
研究成果／Research Output
タンパク質がゴルジ体内を輸 送される仕組みを可視化
・成熟する槽内に形成されるゾーンを 移動しながら輸送される
・超解像共焦点ライブイメージング顕微鏡システム
（SCLIM）による発見
Visualization of secretory cargo transport wthin the Golgi apparatus
・Cargo is transported by zone-to-zone delivery in a maturing cisterna
・Discovery by super-resolution confocal live imaging microscopy (SCLIM)
Reference: K. Kurokawa, H. Osakada, T. Kojidani, M. Waga, Y. Suda, H. Asakawa, T.
Haraguchi, and A. Nakano: "Visualization of secretory cargo transport within the Golgi apparatus," Journal of Cell Biology, in press, doi: 10.1083/jcb.201807194.
(専任研究員) 黒川 量雄 (研究員)
戸島 拓郎、神 奈亜子 (特別研究員)
宮代 大輔 (アシスタント)
深谷 香織
(Senior Research Scientist) Kazuo Kurokawa (Research Scientist) Takuro Tojima, Natsuko Jin (Postdoctoral Researcher) Daisuke Miyashiro (Assistant)
Kaori Fukaya
S
Subwavelength Photonics Research Group
Live Cell Super-Resolution Imaging Research Team
The Golgi apparatus, an organelle in eukaryotic cells, plays a central role in intracellular protein transport and sorting. However, there still remains a dispute how cargo proteins are delivered within the Golgi apparatus.
Kazuo Kurokawa (Senior Research Scientist) and his collaborators performed 4D live cell imaging to tackle this problem. They labeled cargo and two Golgi proteins residing in different compartments with fluorescent proteins simultaneously, and observed their dynamics over time. The results show that cargo stays in a Golgi cisterna during maturation from cis-Golgi to trans-Golgi and further to the trans-Golgi network (TGN), which involves dynamic mixing and segregation of two zones of the earlier and later Golgi resident proteins. The location of cargo changes from the early to the late zone within the cisterna during the progression of maturation.
In addition, cargo shows an interesting behavior during the maturation to the TGN. After most cargo has reached the TGN zone, a small amount of cargo frequently reappears in the earlier zone. These findings indicate that the high-speed and super- resolution live imaging we have developed unveils novel events that may not be explained by the conventional cisternal maturation model.
ゴルジ体は小胞体で新たに作られた多種多様な タンパク質（積荷タンパク質）を糖鎖などで修飾 し、それぞれを働くべき場所へ輸送するという、
細胞内タンパク質輸送の中心的な役割を担ってい ます。しかし、そのゴルジ体の中をどのようにタ ンパク質が輸送されるかについてはいまだに議論 が続いていました。
当チームの黒川量雄（専任研究員）らは、4Dラ イブセルイメージングを用いて、積荷タンパク質 と異なる時期のゴルジ体槽のマーカー（2種）を計 3色の蛍光タンパク質で標識し、ゴルジ体の槽成熟 と積荷タンパク質の輸送を同時に可視化しました。
その結果、積荷タンパク質は成熟する槽に保持さ れ、槽の成熟によって、シス槽からトランス槽、
TGNへと輸送されることが分かりました。さらに、
積荷タンパク質はゴルジ体の槽内全体に存在する のではなく、ゴルジ体マーカーが局在するゾーン 間を槽成熟に伴って移動することも分かりました。
興味深いことに、ゴルジ体からTGNへの成熟の過 程で、積荷タンパク質の大部分がTGNに輸送された 後に、少量の積荷がゴルジ体側に再び現われると いう現象も見られました。高速超解像イメージン グによって、これまでの単純な槽成熟モデルでは 説明できない現象が観察されているものと考えら れます。
図1 積荷タンパク質を保持 したゴルジ体が成熟する様 子
Fig. 1 Maturation of Golgi cisternae harboring cargo protein
図2 積荷タンパク質のゴ ルジ体内輸送モデル Fig. 2 Model of cargo transport in the Golgi
cis medial trans
サ
サブ波長フォトニクス研究領域
チームリーダー / Team Leader
宮脇 敦史
医学博士Atsushi Miyawaki,
M.D., Ph.D.生命光学技術研究チーム
FY2018 Core Members
研究成果／Research Output
深部微細構造を鮮明かつ定量的に観察する自動球面収 差補正システム
• 理研の産業界との連携センター制度（バトンゾーン制度）
を活用
• 理研脳神経科学研究センター、理研CBS-オリンパス連携セ ンターとの共同
• スパインの形態を再現性よく観察することを可能にする技 術
A spherical aberration-free microscopy system for live brain imaging
•
Making the full use of the RIKEN Baton Zone Program
•
Collaboration with CBS and BOCC at RIKEN
•
Quantitative and reproducible analysis of spine structures
Reference: Ue Y, Monai H, Higuchi K, Nishiwaki D, Tajima T, Okazaki K, Hama H, Hirase H, Miyawaki A. (2018) A spherical aberration-free microscopy system for live brain imaging.
Biochem Biophys Res Commun. 500(2): 236-241.
(研究員)
平野 雅彦、道川 貴章 (テクニカルスタッフ)
戸崎 麻子、星田 哲志 (アシスタント)
櫻井 紘子
(Research Scientist) Masahiko Hirano, Takayuki Michikawa (Technical Staff)
Asako Tosaki, Tetsushi Hoshida (Assistant)
Hiroko Sakurai
研究テーマ
9 蛍光タンパク質の発色団の構造と機能 9 生命と光との相互作用
9 微小生物の水中運動の高速ビデオ撮影
Research Subjects
9 Structure-function relationships of fluorescent protein chromophores 9 Interplay between ambient light and organisms
9 Ultra-fast observation of swimming behavior of micro-organisms
14
S
Subwavelength Photonics Research Group
Biotechnological Optics Research Team
生体組織などの屈折率が高く厚みのある標本を、光学顕微鏡を用いて観察する際、対物レンズから出射 された光は焦点面にずれを生じ、観察像が不鮮明なることが知られています（球面収差）。球面収差は、
観察位置が深くなるにつれて増大するため、深部観察を行う場合には無視できない現象であり、生体イ メージングにおいて解決すべき重要課題です。これらの問題を解決するために、補正環の回転を電動化し 顕微鏡のZステージと連動させることで、焦点位置の変化を補償する（Zlin-C）デバイスと、取得画像のコ ントラスト値が最大となるように最適な補正環位置を計算するアルゴリズム（Peak-C）から構成される自 動球面収差補正システム（Deep-C）を開発しました（図１）。Deep-Cをマウス生体脳イメージングに適 用した結果、特に大脳皮質深部において、光学的収差の少ないより鮮明な画像が得られることを見いだし ました。
The high-resolution in vivo imaging of mouse brain for quantitative analysis of fine structures, such as dendritic spines, requires objectives with high numerical apertures (NAs) and long working distances (WDs). However, this imaging approach is often hampered by spherical aberration (SA) that results from the mismatch of refractive indices in the optical path and becomes more severe with increasing depth of target from the brain surface. Whereas a revolving objective correction collar has been designed to compensate SA, its adjustment requires manual operation and is inevitably accompanied by considerable focal shift, making it difficult to acquire the best image of a given fluorescent object. To solve the problems, we have created an objective-attached device and formulated a fast iterative algorithm for the realization of an automatic SA compensation system (Figure 1). The device coordinates the collar rotation and the Z-position of an objective, enabling correction collar adjustment while stably focusing on a target.
The algorithm provides the best adjustment on the basis of the calculated contrast of acquired images.
Together, they enable the system to compensate SA at a given depth. As proof of concept, we applied the SA compensation system to in vivo two-photon imaging with a 25 × water-immersion objective (NA, 1.05; WD, 2 mm). It effectively reduced SA regardless of location, allowing quantitative and reproducible analysis of fine structures of YFP-labeled neurons in the mouse cerebral cortical layers. Our SA compensation system, called Deep-C, is expected to bring out the best in all correction-collar-equipped objectives for imaging deep regions of heterogeneous tissues.
図１：Deep-Cの概略図。デバイスZlin-CとアルゴリズムPeak-Cから構成される。
Fig. 1: A schematic diagram of the Deep-C system composed of Zlin-C device and Peak-C algorithm.
15
サ
サブ波長フォトニクス研究領域
チームリーダー / Team Leader
横田 秀夫
博士(工学)Hideo Yokota,
D. Eng.画像情報処理研究チーム
FY2018 Core Members
研究テーマ
9 画像処理、パターン認識、CG、CADの計算法
9 生物・材料科学のための情報処理基盤システム
9 生命科学に関する画像計測システム
Research Subjects
9 Algorithms and computational methods for image processing, pattern recognition, computer graphics, and computer aided design
9 Software and hardware systems for biology and material science
9 Imaging devices for life science
研究成果／Research Output
内視鏡画像からの早期胃がんの自動検出
• 専門医でも炎症との区別が難しい早期胃 がんを、内視鏡画像から高精度に自動検 出する手法を開発
Automatic detection of early gastric cancer from endoscopic images
• Achieved automatic detection of early gastric cancer, which is difficult even for experienced
gastroenterologists.
• Proposed an efficient scheme for gastric cancer detection using a small number of learning datasets.
• Succeeded in presenting a candidate region for early gastric cancer.
(上級研究員) 吉澤 信 (専任研究員) 太田 聡史 (研究員) 竹本 智子
(特別研究員) 山下 典理男、森田 正彦 (テクニカルスタッフ)
辻村 有紀、中村 佐紀子、西村 将臣 (アシスタント) 田中 晶予、古本 佳代 (客員研究員)
大山 慎太郎、深作 和明、
藤崎 和弘、古城 直道、宮川 雄、
村上 幸己
(Senior Research Scientist) Shin Yoshizawa, Satoshi Oota, (Research Scientist) Satoko Takemoto (Postdoctoral Researcher) Norio Yamashita, Masahiko Morita (Technical Staff)
Yuki Tsujimura, Sakiko Nakamura, Masaomi Nishimura
(Assistant) Akiyo Takana, Kayo Furumoto
(Visiting Scientist) Shintaro Oyama, Kazuaki Fukasaku,
Kazuhiro Fujisaki, Naomichi Furushiro,
Suguru Miyagawa, Yukimi Murakami
• 少数の正解画像からでも胃がんの特徴を効率的に学習する仕 組みを提案
• 早期胃がんが存在する領域をヒートマップとして提示
S
Subwavelength Photonics Research Group
Image Processing Research Team
早期胃がんは、進行性胃がんや大腸がん等と比 較すると色や形態の特徴が少なく、内視鏡検査で は専門医であっても発見が難しいことがあります。
今回、当チームと国立がん研究センター東病院の 共同研究チームは、畳み込みニューラルネット ワーク(CNN)を用いて、内視鏡画像から早期胃が んを自動検出する方法を開発しました。
CNNの学習には、一般に大量の学習用データが 必要ですが、早期胃がんに限定すると学習用デー タを大量に収集することは困難でした。そこで本 研究では、約200枚の正解画像から小領域をラン ダムに切り出し、データ拡張によって約36万枚に 増やした画像を学習用データとし、効率的に早期 胃がんの特徴を学習する仕組みを提案しました。
その結果、内視鏡画像の入力に対し87.6%の精度 で「がん画像」または「正常画像」を識別するこ とができました。さらに、開発手法は画像の識別 だけではなく、早期胃がんの領域を82.8%の精度 で自動検出することにも成功しました。
本研究の成果は、将来的には医師の診断を補助 し、内視鏡検査における胃がんの見逃しを減らす ことで、胃がんの早期発見や早期治療に役立てる ことができると期待されています。
Figure2: Predicted regions of early gastric cancer in three cancer types.
(Left) superficial elevated type (Type 0-IIa). (Center) superficial depressed type (Type 0-IIc). (Right) protruding type (Type 0-I).
Early gastric cancers have poor color and morphological features compared to those of progressive cancers. Early detection of gastric cancer using endoscopic images is difficult for gastroenterologists, and detection accuracy depends on their experience. Our research group developed a novel framework for the automatic detection of early gastric cancer in endoscopic images using a transferring convolutional neural network (CNN).
For training a CNN, a large number of training datasets are required for reliable learning. However, acquiring training datasets with annotated early gastric cancers is expensive. Our study only used 200 endoscopic images for training, which were efficiently translated into 360,000 small patch images by random cropping and data augmentation. The accuracy of our trained CNN was 87.6%, and the sensitivity and specificity were well balanced, which is important for future practical use.
We also succeeded in segmenting the early gastric cancer regions. The segmentation accuracy was 82.8%. This means that our proposed scheme may offer substantial assistance to endoscopists in decision making.
Figure1: Preparing the datasets by random cropping with annotated endoscopic images for learning.
サ
サブ波長フォトニクス研究領域
チームリーダー / Team Leader
田中 拓男
博士(工学)Takuo Tanaka,
D. Eng.フォトン操作機能研究チーム
FY2018 Core Members
研究テーマ
9 3次元メタマテリアルや完全吸収メタマテリアルなど、メタマテリアル の設計と加工技術の開発
9 メタマテリアルを用いた新規な赤外分光法の創成と高感度な分子の定 性・定量分析法及び単一分子分析デバイスの開発
9 チューナブルメタマテリアルに向けた新規な材料開発 9 可視光およびTHz波周波数における先端増強分光システム開発
Research Subjects
9 Novel metamaterials such as 3D metamaterials and perfect absorbers 9 Infra-red spectroscopy using metamaterials for ultra-sensitive
detection and identification of molecules and single molecule analysis 9 Alternative materials for tunable metamaterials
9 Tip-enhanced spectroscopy in the visible and THz regime
研究成果／Research Output
メタマテリアル-ナノ流路ハイブリッド デバイスによる超高感度赤外分光法の 創成とナノ空間における分子構造解析
• メタマテリアル-ナノ流体ハイブリッドデバイスによる超高感度 赤外分光法を確立
• 10-100 nm空間に閉じ込まれた分子の構造解析法を実現
• ナノ空間に閉じ込まれた水分子の特異物性を発見
Plasmonics-nanofluidics hydrid devices for ultrasensitive IR spectroscopy and IR spectroscopic study of nano confined molecules
References:
[1] T. H. H. Le and T. Tanaka, ACS Nano 11, 9780-9788 (2017).
[2] T. H. H. Le, A. Morita, K. Mawatari, T. Kitamori, and T. Tanaka, ACS Photon. 5, 3179- 3188 (2018) .
(専任研究員) 早澤 紀彦 (兼務) (特別研究員)
Thu Hac Huong Le 、 Maria Vanessa Balois、
Bikas Ranjan (客員研究員)
河田 聡、
武安 伸幸、
森竹 勇斗 (アシスタント)
梁 怡蓉
(Senior Research Scientist) Norihiko Hayazawa (c) (Postdoctoral Researcher)
Thu Hac Huong Le , Maria Vanessa Balois, Bikas Ranjan (Visiting Scientist)
Satoshi Kawata, Nobuyuki Takeyasu, Yuto Moritake (Assistant)
Yi-Jung Liang,
• Establishing plasmonics-nanofluidics hydrid device as ultrasensitive platform for IR absorption spectroscopy
• Study of molecules confined in 10-100 nm spaces
• Revealing specific molecular structures of nano confined water
18
S
Subwavelength Photonics Research Group
Innovative Photon Manipulation Research Team
赤外分光法は分子の官能基や骨格構造を測定できる 有力な分析法の１つです．この赤外分光法における課 題の１つはその感度が低いことでした．この問題を克 服するために，金属ナノ構造に励起される局在型プラ ズモンの電場増強効果を利用して感度を高める手法が 注目されています．この原理を最大限に利用するには，
分子をホットスポットと呼ばれる電場が増強されてい る空間に導入する必要があります．そこで我々は，ナ ノ流路を用いて分子をホットスポットに選択的に導入 するメタマテリアル-ナノ流路ハイブリッドデバイスを 考案しました．試作したデバイスは，図１に示すよう に金ミラーと金属微小光共振器の間に厚さ数十nmの流 路が挟み込まれた構造で構成されています．この構造 に中赤外光を照射すると，光はナノ流路部に局在する ので，流路内に分子を流せば検出分子を正確にホット スポットに導入することができ，結果として，分子の 検出感度を著しく向上させることができました (図 1(d)) [1]. さらに，ナノギャップに導入した水の赤外スペ ク ト ル を 測 定 し た と こ ろ ， 図 2 に 示 す よ う に 10nm ギャップに閉じ込まれた水分子特有の赤外スペクトル の測定に成功しました. 得られた結果を解析したところ 10nm空間に閉じ込められた水はバルクの水と異なり，
水素結合で強く構造化されていることを解明しました．
またこの水素結合ネットワークはナノギャップのサイ ズによって変化することも明らかにできました[2]. 本研 究結果は細胞内により近い環境下の分子の挙動や機能 発現をはじめ，空間の束縛効果と生体化学反応への影 響を解明するための重要な技術に繋がると期待してい ます．
Infrared (IR) spectroscopy is a powerful analysis tool, as it extracts essential information on chemical bonds and molecular. Recently, metamaterials-based IR spectroscopy has emerged as a promising approach that improves the sensitivity by several orders of magnitude, owning to the localized enhanced electro- magnetic field (hot-spots). This effect, however, is only effective when molecules are located in the vicinity of hot-spots. Here a device consisting of a nanofluidic channel sandwiched between plasmonic resonators and a metal film was proposed. It enables the controllable delivery of molecules into the hot-spot region and it was applied for ultrasensitive IR absorption spectroscopy (Fig. 1) [1]. It also allows the selective detection of molecules confined within the nanogap with a prominent sensitivity. The IR absorption of water confined in 10 nm gap was successfully measured. The strong absorption at 3200 cm−1 unveiled the presence of a strong H-bond network, with respect to the bulk water. Our device was able to distinguish the subtle differences in the molecular structures, revealing the scaling behavior of water confined in 10-100 nm regime (Fig. 2) [2]. This study has offered an IR spectroscopic method for in-situ probing the nano confined molecules and chemical reactions, and thus gives us a fundamental insight into the nano confinement effects in vivo environment.
図1(a)メタマテリアル-ナノ流路ハイブリッドデバイス, (b) 金属微細共振器の AFMと SEM画像, (c) 電場分布, (d)測定した分子スペクトル．
図2 (a) 10 nmギャップに閉じ込められた水の吸収スペクトル, (b) ギャップサイズとスペクトル形状の依存性, (c)ナノギャップにおけ る水分子の構造の模式図．
Fig. 1 (a) Concept of device, (b) AFM and SEM images of metal resonator, (c) Electric field distribution, and (d) Measured spectrum.
Fig. 2(a) Absorption spectrum of water confined in 10 nm gap, (b) Spectra of water in different gap sizes, and (c) Conceptual diagram of nanoconfined water.
19
サ
サブ波長フォトニクス研究領域
チームリーダー / Team Leader
杉岡 幸次
工学博士Koji Sugioka,
D. Eng.先端レーザー加工研究チーム
FY2018 Core Members
研究テーマ
9 3次元マイクロ・ナノレーザー加工技術の開発とマイクロ・ナノデバ イス作製への応用
9 ビーム整形による高品質・高効率・高解像度加工技術の開発 9 超短パルスレーザーによるナノ材料の創成
9 レーザー光と物質との相互作用の解明に関する研究
Research Subjects
9 Development of laser-based 3D micro and nanoprocessing and application for fabrication of micro and nanodevices
9 Development of high quality, high efficiency, high resolution processing based on beam shaping techniques
9 Synthesis of nanomaterials by ultafast lasers 9 Elucidation of laser and matter interactions
研究成果／Research Output
フェムト秒レーザー３次元 加工によるマイクロ流体 SERSチップの開発
• 全フェムト秒レーザー加工技術を開発。
• マイクロ流体チャネル中に金属ナノドットアレイを形成。
• 7.3×108倍のラマン散乱増強を実現。
• 10ppbの検出感度を実現。
• ごく微量の有害物質のリアルタイム検出に成功。
Development of microfluidic SERS chips by femtosecond laser 3D processing
•
Development of all-femtosecond-laser-processing.
•
Formation of metal nanodot array inside microfluidic channel.
•
Achieving the enhancement factor as high as 7.3x10
8.
•
Achieving the detection limit down to 10 ppb.
•
Demonstration of real-time sensing of trace levels of toxic substances.
S. Bai, D. Serien, A. Hu, and K. Sugioka, Adv. Func. Mater. 228, 1706262 (2018).
(研究員) 小幡 孝太郎 (基礎科学特別研究員) Daniela Serien (特別研究員) Dongshi Zhang (客員研究員)
花田 修賢、中嶋 聖介、
Felix Sima (Research Scientist) Kotaro Obata
(Special Postdoctoral Researcher) Deniela Serien
(Postdoctoral Researcher) Dongshi Zhang (Visiting Scientist) Yasutaka Hanada, Seisuke Nakashima, Felix Sima
S
Subwavelength Photonics Research Group
Advanced Laser Processing Research Team
大気、水、土壌、食品などに混入した有害物質 は、たとえその量がごく微量であっても、蓄積に より人体の健康に大きな影響を与えます。安全、
安心、健康な社会を実現するには、本来混入して はならない有害物質を高感度で検出する技術の開 発が必要です。我々は、異なるフェムト秒レー ザー加工技術を融合することにより、ごく微量の 有害物質をリアルタイムで検出する「3次元マイ クロ流体表面増強ラマン分光（SERS）センサー」
を開発しました(Fig. 1)。
3次元マイクロ流体SERSチップの作製において は、まず、3次元マイクロ流体構造をガラスマイ クロチップ中に構築し、さらに流体構造内部の所 望の位置に、金属薄膜を選択的に堆積しました。
その後堆積した金属薄膜に、金属のナノドット周 期構を形成しました。これらの一連のプロセスは、
1台のフェムト秒レーザーで行うことができます
（全フェムト秒レーザー加工）。流体チャネル内 に形成したナノドット周期構造がSERSセンサーと して機能し、ガラス基板上でのラマン散乱と比較 して7.3×108倍のラマン散乱強度の増強が得られ ました(Fig. 2)。その結果、10ppbの検出感度で、
異なる濃度のカドミウムイオン（Cd2＋）のリアル
タイム検出に成功しました。開発したSERSチップ は、微量な有害物質の検出だけでなく、病気の早 期発見・診断等医療用チップとしての利用も期待 されます。
Fig. 2. SERS spectra of R6G solutions with varying concentrations analyzed by the fabricated SERS chips. The yellow line corresponds to the spectrum on the glass substrate (Inset: The Raman spectrum of 10−2 M R6G on flat glass enlarged by five times). (Reproduced from Adv. Func. Mater. 28, 1706262 (2018) with permission from Wiley. ©2018 by Wiley & Sons, Inc.)
The detection of trace levels of toxic substances in water and food is critical to protecting the environment and human health. We integrated different kinds of femtosecond laser processing to fabricate three-dimensional (3D) microfluidic surface enhanced Raman spectroscopy (SERS) chips that enabled performing real-time detection of the trace levels of substances.
For fabrication of the SERS chips, 3D micfofluidic strcutures were first fabricated, followed by selective deposition of metal thin films inside the fabricated microfluidic channels. Then, the deposited metal thin films were nanostructured to create a 2D array of nanodot structures. A series of processes can be accomplished by a single femtosecond laser, which have been termed all-femtosecond-laser-processing.
The fabricated SERS chips exhibited excellent performance with an enhancement factor of Raman scattering as high as 7.3x108. Eventually, they successfully demonstrated real-time detection of Cd2+
of different concentrations with a detection limit of 10 ppb. This technique is evidently a
promising approach to fabricating high performance microfluidic SERS platforms not only for the real-time sensing of toxic substances in the environment, but also for early detection and diagnosis of disease.
Fig. 1. Schematic illustration of demonstrating the real-time sensing of trace levels of toxic substances by using 3D microfluidic SERS chips fabricated by all-femtosecond-laser-processing. Upper right photo is an SEM image of 2D array of metal nanodots formed by femtosecond laser.
サ
サブ波長フォトニクス研究領域
チームリーダー / Team Leader
秋葉 正博
工学博士Masahiro Akiba,
D. Eng.眼疾患クラウド診断融合連携研究チーム
FY2018 Core Members
研究テーマ
9 眼疾患の診断および疾患の分類のための機械学習手法・モデルの構 築
9 3次元OCT画像を用いた眼疾患特徴量の抽出と臨床評価
9 画像情報処理研究チームの研究成果を用いた疾患眼を早期に検出お よび診断するための特徴量抽出
Research Subjects
9 Development of machine learning classifier and its system integration for screening and classifying the eye disease using ophthalmic examination data
9 Characterization of ocular parameters and its clinical evaluation from 3D OCT images
9 Quantification of ocular disease parameters from OCT images using recently developed RIKENʼs information processing technology
研究成果／Research Output
光干渉断層画像を利用した加齢黄斑変性のスクリーニ ング及び前駆病変を検出する機械学習モデルの構築
• OCT断層画像のみを用いた機械学習モデルを開発し、98%
の精度で健常眼と加齢黄斑変性の区分を実現。
• AMDのサブカテゴリー化として液有・液無を客観的に判断 する機械学習モデルを構築し、スクリーニングと合わせ2段 階のモデルを連結。
Evaluation of machine learning classifier between normal age related macular degeneration (AMD) eye for early detection using OCT images
•
Machine learning classifier using customized CNN model has been created and tested for AMD screening purpose.
AMD precursor lesions were identified with 98%
accuracy.
•
To determine the treatment strategy in AMD patient, AMD with and without the presence of any fluid in retina were classified with 0.992 AUC, and 95.1% accuracy.
(副チームリーダー) 横田 秀夫 (兼務) (上級研究員) 吉澤 信 (兼務) (研究員) 竹本 智子 (兼務)、
俵 丈展 (兼務)、工藤 重樹 (特別研究員) 森田 正彦 (兼務)、
山下 典理男 (兼務) (テクニカルスタッフ)
西村 将臣 (兼務) (客員研究員) 安 光州 (Deputy Team Leader) Hideo Yokota (c) (Senior Research Scientist) Shin Yoshizawa (c) (Research Scientist)
Satoko Takemoto (c),
Takehiro Tawara (c), Shigeki Kudo (Postdoctoral Researcher)
Masahiko Morita (c), Norio Yamashita (c) (Technical Staff) Masaomi Nishimura (c) (Visiting Scientist)
Guangzhou An
22
S
Subwavelength Photonics Research Group
Cloud-Based Eye Disease Diagnosis Joint Research Team
加齢黄斑変性症（AMD）の早期発見のために２つのステップでAMDモデルを構築した。最初に、健常眼 とAMD眼を区分する畳み込みニューラルネットワーク（CNN）モデル（モデル１）を構築した。眼科専門医 に確定診断されたAMD眼と健常眼のOCTデータから、AMD画像535枚、健常画像185枚のOCT画像を収集し た。データ拡張手法で、データを1,000倍拡張して、AMD眼の特徴を活かしつつ、独自に設計した18層の CNNを訓練した。トレーニングデータセットと別のAMD画像188枚、健常画像49枚のOCT画像を用いて検証 したところ、正解率は99.0％であった。
次に、AMDの治療方針を決めるために、液有・液無のAMDか客観的に分類することが求められている。本 研究チームは、モデル１を作る際に用いたAMDのOCT画像535枚を眼科医3人に液有・液無のAMDか分類さ れ、その教師データを用いて、AMDと健常を分類したモデル１から転移学習の手法で、再学習させ、液有・
液無の分類モデルを構築した。テストデータ（n=188）を用いて、検証したところ、正解率は93.9%であっ た。
今後は、作った2つのモデルが出力する分類結果及び確信度を提示することで、AMDの客観的に診断すると ともに、その治療方針を決めるための診断支援につながると期待できる。
Fig. 2. Attention map result in which machine learning model suspect the area where AMD fluid.
The objective of this study was to build deep learning models with optical coherence tomography (OCT) images to classify normal and age related macular degeneration (AMD), AMD with fluid, and AMD without any fluid. In this study, 185 normal OCT images, 535 OCT images of AMD with fluid, and 514 OCT mages of AMD without fluid as training data, while 49 normal images, 188 AMD OCT images with fluid and 154 AMD images without any fluid as test data, were enrolled. Data augmentation was applied to increase the number of images for building deep learning models. Totally, two classification models were built in two steps. In the first step, a VGG16 model pre-trained on ImageNet dataset was transfer learned to classify normal and AMD, including AMD with fluid and/or without any fluid. Then, in the second step, the fine- tuned model in the first step was transfer learned again to distinguish the images of AMD with fluid from the ones without any fluid. With the first model, normal and AMD OCT images were classified with 0.999 area under receiver operating characteristic curve (AUC), and 99.2% accuracy. With the second model, AMD with the presence of any fluid, and AMD without fluid were classified with 0.992 AUC, and 95.1%
accuracy. Compared with a transfer learned VGG16 model pre-trained on ImageNet dataset, to classify the three categories directly, higher classification performance was achieved with our notable approach.
Conclusively, two classification models for AMD clinical practice were built with high classification performance, and these models should help improve the early diagnosis and treatment for AMD.
Fig. 1. Proposed approach for building machine learning model for classification of normal and AMD.
23
