深度視覺相機與窄視野彩色相機之校正方法

Abstract

在內視鏡手術中，醫生常常只能以二維的影像資訊進行三維的手 術操作，增添了不必要的執行難度，如果能提供準確的三維資訊輔以 恰當的顯示方式，將可讓內視鏡手術操作更加容易。但現今內視鏡手 術環境下的深度預測演算法，還有許多情境是無法正確預測立體資訊 的，包含鏡像反射、變動劇烈的視差、手術器械造成的遮蔽、煙霧和 液體等。此外目前的定量評估方法也有一些限制，包含目標物體不能 形變、畫面無法有手術器械以及沒有直接的真質等。 因此，我們提出一個外部的深度相機和內視鏡鏡頭的校正方法，藉 此能提供包含影像與深度資訊的資料。之後，將能進一步以這樣的資 料進行深度預測類神經網路的訓練，以及更無限制的內視鏡情境深度 預測演算法的定量評估。

This work proposes a calibration method between a narrow field of view cameraandadepthcamerainanendoscope-likescenario. Anendoscopy-like scenario has several properties including limited specular reflective surface, a camera with a narrow field of view. Instead of pushing the accuracy of the target marker with low-resolution data, we propose a solution with a loss function. The proposed loss function utilizes all of the 3 dimensions points of the checkerboard measured with the depth camera, and calculates the distance between projected 3D positions onto 2D image surface and the color image. The final re-projected error is improved to average under 1 millimeters, and further trainingand evaluation of depth estimation algorithms could be performed.