微美全息科學院：基于虛擬現實技術的計算機圖像場景構建

    隨著計算機圖形學的發展，可以通過傳統的幾何方法建立真實的虛擬環境。通常，創建三維幾何模型來描述場景中的照明和表面紋理等特征。通過計算光強來生成視點觀測的圖像需要很高的計算能力，由此產生的效果很難重現照片中呈現的復雜的自然紋理。作為納斯達克上市企業“微美全息WIMI.US”旗下研究機構“微美全息科學院”的科學家們就虛擬現實技術的計算機圖像場景構建展開深入研究。

    近年來，市面上有一種基于圖像的渲染技術，該技術具有真實場景的渲染質量，且算法只與圖像分辨率有關。有對樣本的匹配待征由主垂直邊突出顯示，以避免局部最優，提出了一種統一的圓軌跡圖像序列方法，使圖像采更加方便，將固定加速度繞水平面固定中心旋轉拍照，采集水平面內各點的光信息，具有三維效果。

    以下論述了基于圖像的虛擬場景繪制技術的意義，討論了立體視覺的攝影幾何原理，討論了用三維全光函數構造虛擬場景的方法，以減少傳統方法在相應點匹配中的局部最優。

    1、立體視覺的攝影幾何原理

    虛擬現實技術是近年來國內外科學技術領域的熱點，涉及計算機圖形學、動力學和人工智能等研究領域。隨著相關學科的發展，虛擬現實技術得到了迅速發展，并應用于航天、醫療康復、建筑和制造等領域。在計算機的幫助下，虛擬現實技術實現了人們通過視聽手段感受到的虛擬錯覺。虛擬現實技術具有沉浸性和交互性的特點。它使用各種信息通道及時模擬高級用戶界面。人類通過視覺感知所接收的信息占所接收信息總量的80%。構建虛擬現實是虛擬現實的重要組成部分，在許多領域得到了廣泛的應用。

    1.1 成像幾何原理

    虛擬現實技術要求用戶對虛擬環境有強烈的沉浸感。構建虛擬場景是用戶體驗真實視覺效果的一種方式。成像系統通常將三維場景轉化為二維灰度圖像。透視投影是一種常用的成像模型。其特征在于場景的光線通過投影中心，垂直于圖像平面的直線為投影軸。正交投影是透視投影的一種特殊情況，它使用平行于光軸的光將場景投影到圖像平面上。獲取每個點與攝像機之間的距離是視覺系統 的一項重要任務。深度圖中的每個像素值表示場景中一個點與相機之間的距離。被動測距傳感器是視覺系統發射的光能。根據圖像恢復場景的深度信息，利用灰度圖像的陰影特征和運動特征，可以間接估計深度信息。雷達測距系統和三角測距系統是常用的主動測距傳感器系統。主動視覺主要研究視覺和行為的結合，通過主動控制攝像機的位置和光圈參數來獲得穩定的感知。

    1.2 立體成像原理

    立體成像系統在立體圖像對中找到與實際立體圖像對的共軛對是立體視覺中最困難的一步，為了減少相應的點失配，建立了許多約束條件。傳統的特征點搜索是在一幅圖像上選擇特征點，一幅圖像的特征點位于另一幅圖像對應的極線上。如果已知目標與攝像機之間的距離在一定的間隔內，可以將搜索范圍限制在一個小的間隔基于虛擬現實技術的計算機圖像場景構建內，這樣可以大大縮小尋找對應點的搜索空間，減少不匹配點的數量。由于攝像機位置測量誤差的影響，匹配點可能無法精確地出現在圖像平面上對應的極線上。立體視覺通常由兩個以上的攝像機組成。場景中對應點的光強變化較大，匹配前需要對圖像進行歸一化處理。一幅圖像的每個特征點只能對應于另一幅圖像的一個唯一點。圖像中物體表面上各點的投影是連續的，物體邊界上的連續約束不成立。

    1.3 區域相關性

    邊緣特征通常對應于對象的邊界。邊界的深度值可以是對象閉合邊深度距離之間的任何值。在兩個圖像平面上觀察到的輪廓圖像的邊緣與物體的邊緣不對應，圖像平面的邊緣只能沿閉合邊緣檢測。恢復深度的基本問題是識別圖像中分布的更多特征點。兩幅圖像中的匹配點應盡可能容易識別。感興趣的操作員應該查找圖像中有較大變化的區域。它可以在利息度量函數具有局部最大值的地方進行選擇。在識別出這兩幅圖像中的特征后，可以使用許多不同的方法進行匹配。只有滿足極線約束的點才能是匹配點。

    2、全光函數的虛擬場景構建方法

    IBR（image-based rendering）技術改變了人們對傳統計算機圖形學的認識。IBR構建虛擬環境的技術是基于泛函數理論的。構建虛擬場景的全景方法突破了圖像樣本的匹配特征。均勻圓軌跡圖像序列的虛擬場景構建方法是一種三維的完全函數。它可以產生水平立體的視覺效果，而且很容易獲得，渲染過程獨立于攝像機焦距等內部參數，具有較高的操作效率。

    2.1 全光函數

    全光函數 (Plenoptic Function) 描述了從空間中任何點看到的所有信息，描述了給定場景中可能出現的環境映射幾何，從一些定向離散樣本重建了一個連續的全光函數，并通過重采樣函數繪制了一個新的視圖。只要在任何視點收集入射光，就可以以某種方式構建場景，圖像也是在特定時間通過空間中特定點的信息。五維全光函數很難捕捉。全光函數的維數可以繼續減小。全光函數是根據奈奎斯特定律，從空間采樣的光信息中重構出一個連續的函數，從而構造出一個虛擬場景。根據視點參數對函數進行采樣，得到通過視點觀察到的圖像。

    2.2 全光函數的虛擬場景構建方法

    二維全景圖是固定的。簡化為二維的全光函數是固定視點，只收集空間中固定光點的信息。在重建的虛擬場景中，視點不能移動，也沒有視差產生立體感。如果使用全景照相機，可以很容易地獲得全景圖。在不同方向拍攝的照片可以用普通相機縫成全景。全景法構建虛擬場景的主要過程是拼接全景圖。通過將相機采集的具有重疊邊界的圖像無縫拼接，如將直線拼接成虛線，可以獲得反映特定場景的全景圖。

    目前的圖像拼接算法一般采用拼接算法和縫合算法。匹配是通過搜索本地通信來執行的。拼接全景圖像的采樣序列采集過程是將光的中心固定在固定的中心，并以一定的角度拍攝照片，使其在固定的平面上旋轉。可以認為同一圖像空間中相鄰圖像樣本之間存在平移關系。圖像的垂直邊緣成為匹配中的一個重要特征，基于垂直邊緣處理方法，利用圖像差分法找到相鄰圖像樣本的重疊區域 圖像樣本通常細節豐富。由于隨機噪聲的存在，數字圖像捕獲并不完全相同。細節紋理中的邊通常會在處理過程中引入其他錯誤。平滑的圖像樣本通過垂直邊緣進行銳化，圖像樣本卷積梯度算子方法用于突出銳化的邊緣特征，而不會導致邊緣被加寬從而引入誤差。

    2.3 均勻圓軌跡圖像序列的虛擬場景構建方法

    平面功能和二維全景不能提供立體視覺。應該找到一個適當的形式的純函數來創建一個虛擬場景。當一個人在水平面上移動，而垂直方向上沒有視差時，他仍然能感覺到強烈的立體視覺。基于均勻圓軌跡圖像序列的圖像虛擬場景構建方法是將攝像機放置在旋轉中心O附近，以捕獲到的圖像序列作為輸入，構建三維全光函數。通過對所獲得的圖像序列的處理，可以得到在水平面一定范圍內不同視點所觀測到的圖像，并且圖像序列的采集比較簡單。

    2.4 景深計算

    虛擬場景的構造允許用戶在一定范圍內移動。傳統的深度計算 方法首先使用兩個經過校準的針孔相機在不同位置捕捉同一物體的圖像。為了計算第一幅圖像中各點的三維位置，最好在第二幅圖像中搜索匹配點。人們在深度計算方面做了很多工作。多基線立體成像算法通過多幅圖像消除了噪聲的影響，優于傳統的相關算法。圖像的每個特征點只能對應于圖像的唯一特征點。由于大多數特征點不是很明顯，所以通常會產生相應的歧義。一個點可以是真實的對應點，另一個點是虛假的對應點。多基線立體成像是消除相應點模糊的有效方法。在實際應用中，不需要計算輸入圖像序列中每個圖像的深度，通過計算一幅全景圖的深度可以得到所有場景點的深度信息。

    3、虛擬場景構建實驗

    利用銳化圖像方法突出樣本的匹配特征，在大多數情況下，可以完成全景圖像的自動拼接，有效避免后一搜索過程陷入局部限制，拼接結果基本無縫。最小相似距離法對圖像亮度變化不敏感，具有一定的抗噪聲能力。實驗在計算機綜合仿真環境中進行。模擬環境是一個合成的室內場景，包括放置在室內的桌子和圓柱體等幾何對象。利

    用均勻圓軌跡圖像序列構建虛擬場景的方法進行測試，產生立體視覺效果，較好地實現了虛擬場景深度信息的獲取實驗。在水平圓周圍均勻拍攝視頻，以獲得所需的圖像序列。當視點參數發生變化時，根據均勻圓軌跡圖像序列的原理重新繪制新視點的視圖。當視點在預定范圍內變化時，計算出視點對應的圖像序列之間的對應關系。當繪制光不在采樣點時，將其替換為相鄰點。模擬環境是一個室內場景，垂直深度近似可以用來減少垂直變形。假設場景的深度是一個常數，垂直失真會減小，圖像的寬度也會減小到不同的程度。由于視點的變化，相對深度發生了變化，在 垂直方向上不再獲取信息。場景點的深度實際上不是 s 常數，觀察到的變形是假定深度和設計之間的差異。

    該方法計算量小，在視場要求不太準確的情況下，用均勻的圓軌跡圖像序列在施工現場繪制新的視點是一種高效的方法。利用多基線立體成像算法對由圖像序列構成的虛擬場景進行深度估計，首先將每個幀的相同序列拼接成全景圖像。每幅全景圖尺寸為 300×240。從 L=160列拼接全景圖中剪切320×240 圖像。將用于計算 SSSD 函數的窗口大小設置為 9×9。根據從最長基線 L=260 拼接的全景列的視差變化進行搜索，計算相應的深度值，計算每個基線的 SSD。搜索的目的是找到 SSSD 最小深度值。搜索范圍從視差d=0 開始到全景圖中像素的方向并與參考圖像搜索中參考點的方向相同。用估計景深修正垂直變化效果最好，但應以估計景深為基礎。如果要求場景和視點的視圖繪制是實時的，并且對圖像質量的要求不高，則穩定深度近似法更快。

    4、結論

    總體研究了基于圖像虛擬場景的構建技術，它是基于全光函數理論的。根據奈奎斯特定律，利用空間中的光信息，以一定的方式重建連續的全光函數。當視點參數發生變化時，根據視點參數進行采樣。首先，討論了構建虛擬場景的視覺攝影的幾何理論。然后，根據相關方法研究了全景圖像的全光函數，提出了全景圖像的垂直邊緣處理拼接算法。最后，研究了景深信息的估計方法。