基于車道線寬度的邊緣散點(diǎn)識別道線算法
為了解決這兩個問題，需要將攝像頭采集的原始圖像中的ROI區(qū)域轉(zhuǎn)化為鳥瞰圖，然后通過基于車道線寬度的特征點(diǎn)篩選方法提取車道線的邊緣點(diǎn)，最后得到車道線的邊緣點(diǎn)。
1、車道線特征點(diǎn)的選擇與提取
該方法利用了車道寬度基本相同的特點(diǎn)，一般的鳥瞰圖中寬度為0.25米的車道線寬度為4~5個像素，且車道線內(nèi)部是一個連通的區(qū)域。將相機(jī)采集的圖像轉(zhuǎn)化為鳥瞰圖后，采用Canny算法進(jìn)行處理，初步得到包含邊緣點(diǎn)和噪聲點(diǎn)的二值圖像。然后，通過逐行掃描的方法對二值圖像進(jìn)行濾波，提取屬于車道線的邊緣點(diǎn)，丟棄其余點(diǎn)，以減少干擾噪聲點(diǎn)對曲線擬合的影響。
車道線特征點(diǎn)提取的詳細(xì)步驟如下：
步驟1：從圖像底部開始逐行掃描二值圖像。如果檢測到某行像素點(diǎn)的灰度值全為0，則繼續(xù)掃描上一行像素點(diǎn)，否則轉(zhuǎn)步驟2。
步驟2：記錄第一個灰度值為255的像素點(diǎn)的列號n，并繼續(xù)掃描下一個像素點(diǎn)。若第n列第4或第5個像素點(diǎn)的灰度值仍為255，則記錄該點(diǎn)的列號m，并執(zhí)行步驟3；否則，將第一個灰度值為255的像素點(diǎn)視為干擾點(diǎn)，將其值設(shè)置為零然后繼續(xù)掃描，然后重復(fù)步驟2。
步驟3：繼續(xù)檢測上一行n列和m列像素點(diǎn)的灰度值。若灰度值為255，則重復(fù)步驟3；否則，檢測相鄰列像素點(diǎn)的灰度值，如果為255，則重復(fù)步驟3；否則，將步驟二中距離為4或5個像素的兩個像素點(diǎn)確定為干擾點(diǎn)，并將其值設(shè)置為0。繼續(xù)步驟2，從該行的下一個像素開始掃描。
步驟4：掃描完各行各列的像素點(diǎn)后，設(shè)置同一行灰度值為255～255的兩個像素點(diǎn)之間的所有像素點(diǎn)的最終灰度值。
上述流程如圖7所示：
下圖顯示了以上這種基于車道線寬度算法逐行掃描后的車道線提取結(jié)果。
可以看到，該算法在盡可能減少干擾點(diǎn)數(shù)量的情況下提取了足夠的車道線邊緣點(diǎn)，逐行掃描方法基本上成功地從所有像素點(diǎn)中提取出屬于車道線的邊緣點(diǎn)。另外，可以看出，質(zhì)量較差的車道虛線符合本文設(shè)計的提取規(guī)則，也可以被很好的提取。
基于RANSAC的特征點(diǎn)曲線擬合
圖像預(yù)處理后，多條車道線上存在散點(diǎn)。需要對這些散點(diǎn)進(jìn)行擬合，找到一條可以包含足夠多散點(diǎn)的曲線，即一條可以包含足夠多散點(diǎn)的曲線。本文采用RANSAC對特征點(diǎn)進(jìn)行擬合，形成最適合車道線的曲線。有學(xué)者在研究中使用canny方法作為比較對象，得到了較差的車道線檢測結(jié)果。除了它對Canny算法缺乏改進(jìn)之外，另一個重要原因是它使用了最小二乘法而不是RANSAC。最小二乘法就是從所有的點(diǎn)中找出最合適的曲線。這種不放棄的方法會導(dǎo)致所有噪聲點(diǎn)都被考慮在內(nèi)，因此不適合與Canny算法一起使用。RANSAC是一種非確定性算法，它會在一定的概率下產(chǎn)生合理的結(jié)果，這允許更多的迭代來增加其概率。操作流程如下：
第一步：假設(shè)模型是一個三階曲線方程，隨機(jī)選取3個樣本點(diǎn)來擬合模型：
第二步：假設(shè)公差范圍為 z，找出距離擬合曲線公差范圍內(nèi)的點(diǎn)，并統(tǒng)計點(diǎn)數(shù)。
第三步：再次隨機(jī)選擇3個點(diǎn)，重復(fù)第一步到第二步的操作，直至迭代結(jié)束。
總之，每次擬合后，在公差范圍內(nèi)都有相應(yīng)的數(shù)據(jù)點(diǎn)。找出滿足設(shè)定置信度的數(shù)據(jù)點(diǎn)數(shù)量就是最終的擬合結(jié)果。本文通過設(shè)置置信度條件來確定最大迭代次數(shù)。步驟1-3的迭代次數(shù)與模型的異常值比例以及我們需要的置信度有關(guān)。可以用以下公式表示：
其中 S 是所需測試的最小數(shù)量，P是置信水平，p是內(nèi)點(diǎn)百分比，k是隨機(jī)樣本數(shù)量。具體的置信水平需要通過反復(fù)測試并綜合考慮準(zhǔn)確性和實時性來確定。
在上述算法不同場景下進(jìn)行了驗證，并在原始圖像上標(biāo)注了最終的車道線，并選取了一些有代表性的截圖如下圖所示。圖(a)為正常光照區(qū)域，(b)為光照不均勻區(qū)域，(c)為大陰影區(qū)域，(d)為線條干擾區(qū)域，(e)為高亮度區(qū)域。
基于逆透視投影變換的特征點(diǎn)擬合
傳統(tǒng)算法中，通過基于RANSAC算法的貝塞爾曲線擬合算法對邊緣點(diǎn)進(jìn)行擬合，可以得到識別的車道線。然而這種RANSAC算法擬合是通過直接逐行掃描圖像，利用寬度匹配來確定哪些散點(diǎn)屬于車道線的。該方法沒有考慮攝像頭獲取的圖像中車道線可能不是垂直的情況，圖像中存在一定的角度的傾斜，所以需要逆透視變換或者距離變換，為后續(xù)車道線特征點(diǎn)的選擇和提取做好準(zhǔn)備。
為了解決以上問題，可以利用逆透視變換算法可以將發(fā)生幾何變形的平面圖像變換為無畸變的俯視圖。目前實現(xiàn)逆透視變換的方法主要有兩種：
第一種是通過相機(jī)標(biāo)定方法獲得相機(jī)的內(nèi)參數(shù)和外參數(shù)，變換公式由內(nèi)參數(shù)矩陣和外參數(shù)矩陣根據(jù)相機(jī)的成像模型，最后通過計算得到逆透視變換后的俯視圖。該方法雖然可以校正相機(jī)的畸變，但涉及參數(shù)和變量較多，算法復(fù)雜，運(yùn)算時間長。
第二種方法是推導(dǎo)透視原理的幾何關(guān)系，利用簡化的逆透視變換公式進(jìn)行計算，從而得到圖像的俯視圖。這種方法適用于畸變較小的小角度相機(jī)。
考慮到現(xiàn)有相機(jī)的特點(diǎn)和實時性，從簡化算法和實現(xiàn)功能的角度出發(fā)，推薦選擇對第一種逆透視變換方法進(jìn)行一定程度的簡化。
由于現(xiàn)有的逆透視技術(shù)已經(jīng)比較成熟，本文不再討論其推導(dǎo)過程，整體改造如下：
其中旋轉(zhuǎn)矩陣R是3*3的矩陣，t是偏移量。從后到前，中間三個矩陣分別是相機(jī)與世界坐標(biāo)變換矩陣、投影關(guān)系矩陣和像素相平面關(guān)系矩陣。
由于智能車的車載攝像頭安裝在車輛內(nèi)部時通常是固定俯仰角和側(cè)傾角的，因此可以簡化為上述類型。如果相機(jī)安裝仔細(xì)，不相對Z軸旋轉(zhuǎn)，并考慮到地平線實際上是水平的，道路所在平面取ZW=0，上式可進(jìn)一步簡化如下：
其中，ZC為透視投影系數(shù)，M1為相機(jī)內(nèi)參矩陣，由相機(jī)內(nèi)參fx、fy、u0、v0確定；M2是相機(jī)的外參矩陣，其中R和T是由相機(jī)位置決定的坐標(biāo)變換矩陣。
根據(jù)上述原理，可以找到圖像平面中的點(diǎn)與世界坐標(biāo)系中的點(diǎn)的一一對應(yīng)關(guān)系，然后將其轉(zhuǎn)化為鳥瞰圖。
需要說明的是，由于遠(yuǎn)處像素數(shù)量較少，轉(zhuǎn)換為鳥瞰圖時需要進(jìn)行大量的插值和擬合計算。在遠(yuǎn)離傳感器的區(qū)域進(jìn)行鳥瞰圖的變換不僅消耗計算能力，而且無法提供清晰的車道線。因此，如果針對低速無人駕駛汽車而言，僅對ROI區(qū)域進(jìn)行變換（對于同一相機(jī)，ROI區(qū)域的像素坐標(biāo)固定），最終使車道線的兩條邊平行，使得進(jìn)一步的分析變得更加容易。逆透視投影變換得到的近距離車道線還是比較精準(zhǔn)的還原。而針對高速情況下需要考慮探測到更遠(yuǎn)距離的車道線，而視覺感知能識別到的車道線散點(diǎn)往往較少，同時考慮到計算的實時性要求也更高，因此很難做到高速情況下利用單純的逆透視投影變換還原車道線信息。
我們知道后續(xù)BEV鳥瞰圖的基礎(chǔ)算法也是這樣多個攝像頭作為圖像源投影到3D空間后進(jìn)行匹配拼接而得出全景的，可以說這種拼接過程也就是一種簡化版的三維重建。那么，如果是遠(yuǎn)距離情況下的散點(diǎn)而言，點(diǎn)數(shù)顯然不夠多，投影到3D空間中用于點(diǎn)云重建的點(diǎn)就很有限了，這就意味著很難在其空間中通過拼接重現(xiàn)真實世界場景中的車道線，亦或者重建的車道線質(zhì)量也無法滿足檢測要求。
當(dāng)然，有條件的感知算法供應(yīng)商為了彌補(bǔ)這樣的缺陷往往采用兩種比較典型的方法進(jìn)行：
1、大量真值系統(tǒng)注入
實際就是一種Mono 3D的真值訓(xùn)練法。提前通過激光+攝像頭的方式做數(shù)據(jù)閉環(huán)進(jìn)行全場景采樣，得到了真實環(huán)境下的各種車道線采樣場景數(shù)據(jù)，然后通過人工標(biāo)注的方式進(jìn)行場景標(biāo)注，這樣一套標(biāo)注值可以提前寫入到真值系統(tǒng)中。當(dāng)后續(xù)運(yùn)行對應(yīng)的感知識別算法時，只需要在進(jìn)行圖像預(yù)處理后輸入對應(yīng)的真值系統(tǒng)做圖像Match就可以很直觀的得出對應(yīng)的車道線真值了。
當(dāng)然，1中所提到的方案不是在每個算法供應(yīng)商都能采用的，其一是這樣的真值系統(tǒng)需要采集大量的環(huán)境真值數(shù)據(jù)，這需要大量的車隊來運(yùn)行采集過程。且不談是否合規(guī)的問題，就是這樣龐大的車隊容量也不是一般公司能夠承受的。那么，此時也有一些追求性價比的算法供應(yīng)商會采用第二種方法：單V加BEV融合的算法策略。
2、單V加BEV的融合策略
其實，簡單點(diǎn)說就是視覺感知的大融合技術(shù)。即考慮到大小眼攝像頭的小眼睛能識別到更遠(yuǎn)距離的車道信息，大眼睛能識別到更寬的車道信息，先各自分別跑各自的神經(jīng)網(wǎng)絡(luò)算法，得到對應(yīng)的環(huán)境感知輸出。其次，該大小眼仍然參與整車全視角下的BEV構(gòu)建，通過上述所提到的逆透視投影變換得到對應(yīng)的BEV鳥瞰圖。最后，將前兩者的感知模塊通過變換到同一個坐標(biāo)系下進(jìn)行融合生成對應(yīng)的三維感知結(jié)果將更加準(zhǔn)確的還原實際場景。
這里需要注意的是，考慮到計算資源和效率，由于智能汽車更關(guān)注自車道前方的車道線信息，因此，對于單V識別，考慮前視大小眼就足夠彌補(bǔ)BEV在遠(yuǎn)距離感知中的缺陷了。當(dāng)然不差錢的Tier1或主機(jī)廠，如果選擇了較大算力平臺的域控，也可以分別將側(cè)視和后視進(jìn)行單獨(dú)深度學(xué)習(xí)生成對應(yīng)的感知結(jié)果。
總結(jié)
本文接續(xù)前文介紹了利用車道寬度這一顯著特征來提取滿足該特征的邊緣點(diǎn)，最終利用RANSAC特征點(diǎn)擬合的方法得到識別的車道線。多個代表性場景的實驗結(jié)果表明，該方法對復(fù)雜光照條件具有較強(qiáng)的適應(yīng)性，能夠在高反光、暗影、照度不均等區(qū)域識別視場內(nèi)的路徑像素。因此，在正常道路和特殊環(huán)境下基本不會出現(xiàn)識別失敗的情況。
轉(zhuǎn)自焉知汽車
