premire
premire

premire3d

 

astm




 製品情報＞ソフトウェア＞デコンボリューション/3Dビジュアライズ

img/AQX.jpg

デコンボリューションとは　～その手法と特徴について～

  1. 顕微鏡画像の成り立ち

    蛍光顕微鏡で蛍光染色された細胞などの断面を観察すると、例えば断面そのものが左下の様な形状をしている場合でも接眼レンズから見ると、ピントの合ってい ない部分に起因するぼけが重なってしまい、右下の様に見えてし まいます。
    ideal section
    理想的な断面像    		 real view
    実際の蛍光顕微鏡像

    これは以下に示す回折などの様々な要因に拠って光が広がってしまうためです。

    Diffraction
    一次元 － 回折

    AirlyDisk
    二次元 － エアリーディスク

    厚みのある標本を観察する必要のある顕微鏡では、 光がどう広がるかを表すため十分に小さな（光の波長より小さな）輝点が三次元的にどう広がるかを表す点像分布関数 (Point Spread Function、以下 PSF と略す) が光学系の特性を表す重要な数学的なモデルとして使われています。またこれは顕微鏡光学系の三次元インパルス応答の 1つであると言う事もできます。

    PointSpreadFunction-1 PointSperadFunction-2
    三次元 －点像分布関数(Point Spread Function,PSF)

    PSFを使う事で、元の物体を点光源の集合と考え、その全ての点光源からの光がPSFに基づいて広がって行くと見なす事で実際に得られる像をコンボリュー ション(畳み込み演算)と呼ばれる数学演算で算出する事ができます。言い換えると顕微鏡はコンボリューションのPSF演算子として働いていると見なす事が できます。

    object
    物体    		 x PointSpreadFunction
    PSF    		 = ActualImage
    実際の画像

  2. デコンボリューション(Deconvolution)

    撮影された顕微鏡画像には前節で述べた様なピントの合っていない部分に起因する（PSFに起因する）ぼけが含まれていますが、この様なぼけの有る画像と PSFから上記とは逆の演算（デコンボリューション演算）を行う事で元の画像を復元できる、あるいはぼけを取り除ける事からこの様な処理をデコンボリュー ションと呼びます。 デコンボリューションが機能するのは顕微鏡という光学系における光の挙動が十分正確にモデル化されているからです。

    デコンボリューションの用途
    デコンボリューションは、蛍光顕微鏡画像では2Dおよび3D画像のコントラスト改善、三次元分解能の改善、3Dレンダリングと視覚化のための改善などに使 用されます。
    目的別に分けると、文書･資料作成では、画像やスライドの画質改善（細部がより精細に、高コントラストになる）、解析では(デコンボリューションでは定量 精度が維持されるため)高コントラスト画像を必要とする解析に有用で、個数カウント、動体追跡、面積測定や輝度測定の前処理として使用されます。

    Before/After Deconvolution -Mono
    蛍光顕微鏡 単一チャンネル画像　–   デコンボ前、デコンボ後

    Before/AFter deconvolution - Color
    蛍光顕微鏡 複数波長　-デコンボ前、デコンボ後

    意外に思われるかも知れませんが、デコンボリューションは共焦点顕微鏡でもS/N比の改善、ダイナミックレンジの改善、画像の階調分解能(コントラスト) の改善、軸分解能を向上させたいときなどに使用 されます。以下に共焦点顕微鏡画像にデコンボリューションを適用した例および共焦点のPSFを示します。なお画像の下部はX方向のZ断面の画像、右部はY 方向のZ断面の画像になります。

    Confocal Before Deconv
    共焦点顕微鏡　–   デコンボ前、    		 Confocal After Deconv
    デコンボ後

    Confocal PSF
    　　共焦点顕微鏡PSF

    デコンボリューションの種類 デコンボリューションは次の2つのカテゴリに分かれ、それぞれのカテゴリーに様々なアルゴリズムがあります。 ・ ｢ボケ取り｣アルゴリズム： No Neighbors、Nearest Neighbors、減算法 ・ 像復元アルゴリズム： Inverse filter、ノンブラインドデコンボリューション (Measured PSF: 実測PSF)、ブラインドデコンボリューション (Adaptive PSF: 適応型PSF) 処理速度と品質のかねあいで、これらのアルゴリズムの中から最適なものを選んで使用して頂くことになります。

  3. ブラインド法と非ブラインド法

    AutoDeblurで、定量性に優れた像復元アルゴリズムとしてサポートされているデコンボリューション手法に非ブラインド法(Non- Blind Deconvolution) およびブラインド法(Blind deconvolution)があります。AutoQuant はライフサイエンス業界トップの顕微鏡画像デコンボリューションソフトとしてブラインドデコンボリューションを業界で唯一サポートしています。

    非ブラインド法(Non-Blind Deconvolution)は 固定PSFまたはMeasured PSF (実測PSF) とも呼ばれ、対物レンズ毎・カメラ毎に実測されたPSF (蛍光ビーズの画像) を用いてデコンボリューションを行ないます。

    NonBlindDeconvolution
    非ブラインド･デコンボリューションは、実測PSFと入力された画像から元の物体を推定します(2Dまたは3D 画像)。

    No Blind process chart
    　　非ブラインド･デコンボリューションの計算処理ループ

    非ブラインド･デコンボリューションはPSFライブラリの管理が必要で、またノイズの無い、最適に測定されたPSFが必要ですが、像を推定するだけなの で、速度では優っています。

    業界ではじめて AutoQuant でサポートされた ブラインド法 (Blind deconvolution) は適応型 PSF または Adaptive PSF とも呼ばれ、通常、PSF の初期値が開口数、屈折率、波長、XYZ スペーシングなどの情報から理論的に決定され、その後実際の PSF が推定されま す。

    Blind Deconvolution
    ブラインド･デコンボリューションは、入力された画像から元の物体とPSFを分離抽出します (2Dまたは3D画像)。

    Blind process chart
    ブラインド･デコンボリューションの計算処理ループ

    プラインド･デコンボリューションは蛍光ビーズを使ったPSF画像の撮像が不要で、光学モデルの変化に (試料、熱膨張、収差、ノイズが変化した場合でも) 対応できます。

  4. 球面収差(Spherical Aberration)の補正

    通常は顕微鏡レンズの収差は補正されており、全ての光線が共通の焦点で収斂しますが、 屈折率のばらつきやカバーガラスの厚みのばらつき、厚みのある試料などが原因で球面収差が発生するとレンズ中心付近に入射した光とレンズ外周部に入射した 光の焦点が一致しなくなります。

    Lense spherical Aberration
    球面収差の例


    言い換えると球面収差が発生した場合、PSFの歪みを引き起こし、画像のボケを著しく増大させるとともにシグナルを減少させるなどの影響がでます。 AutoQuantでは以下の様な方法で球面収差の補正を行います。
    ・　PSFに類似の収差でバイアスをかけてからデコンボリューションを行う
    ・　PSFにバイアスをかけ、ブラインド･デコンボリューションで適応させる

    以下に球面収差の補正を行わない場合と行った場合との比較の画像を示します。なお、画像の下部はX方向のZ断面の画像になります。

    Raw Image: 未処理の元画像
    Before Deconvulution
    最大輝度: 2,614

    球面収差補正なしでデコンボリューション
    Deconvolved No spherical aberration compensation
    最大輝度: 15,134

    球面収差補正付きでデコンボリューション
    Deconvolved with spherical aberration compensation
    最大輝度: 23,938

  5. ノイズの多いデータの取り扱い

    ノイズの発生源としては、光子の検出ノイズ、機器のガウスノイズ、光の散乱などが有り、ノイズは 微弱光での生体セル撮像 や共焦点撮像などの分野で問題となります。
    このノイズを含んだ画像のデコンボリューションでは計算結果に基づく更新（アップデート）の手順が重要になります。
    AutoQuantではこのノイズの多いデータを扱う方法として最尤法 (Maximum Likelihood Estimation) を採用しています。
    この最尤法は既知のノイズモデルを利用し、試料内で起きると考えられる事象の中で、どれが一番｢尤もらしいか｣をテストしていく統計的手法で、像の各部に ついて、｢最もありそうな｣可能性を見つけます。
    ノイズモデルが極めて良好にノイズを発生させる、ノイズを低減させるのでなく、実際にノイズを除去できるため、平滑化フィルターを使用するだけの方法より も汎用性が高くなります。

  6. 微分干渉像の変換

    AutoQuantが持つユニークな機能として微分干渉像を蛍光画像の様な画像に変換する機能 (DIC Restoration) があります。この機能を使用すると下図の様に計測に不向き な微分干渉像が２値化して計測しやすい蛍光画像の様な画像に変換されるため、サイズ計測や動体追跡の前処理として非常に有用です。
    DIC input image
    入力微分干渉像    		 DIC converted image
    変換後の画像

  7. 最新のCPUアーキテクチャーに対応

    AutoQuantの最新バージョン、X3では64ビットやマルチコアなどの最新のＣＰＵアーキテクチャーに対応しており、その利点をフルに引き出 す事が可能です。:
    例えば64ビットバージョンでは 2 GB (32ビットの限界) を超えるメモリが利用可能で、大きな処理データでもサブボリュームに小分けせずに全体を取り扱えるため、小分けする事によるアーチファ クツ(副作用によるノイズ)が生じません。
    Devided Image Not Devided image
    分割によるアーチファクツの有る画像 （左）と無い画像（右）
    これはサブボリューム化によるアーチファクツが減少/生じないだけに留まらず、デコンボリューションに先立つサブボリューム化処理およびデコンボリュー ション後のサブボリューム・ブレンド処理が不要になるなどデータ管理の処理が減少するため、最大25%の高速化の効果が得られます。
    また、 マルチチャンネル画像やマルチタイムポイント画像では、例えば下図の例の様に、デュアルコアなどの マルチプロセッサパソコンの性能を最大限に活かせる様になりました。

    二つのチャンネルを平行処理
    Process Ch1
    CPU1がCh1（緑）を処理    		 ＋ Process Ch2
    CPU２がCh２（青）を処理    		 = Result Ch1+Ch2
    最終処理結果（緑＋青）