應聘影象演算法崗位的面試心得

最近面試了不少自動駕駛影象感知演算法崗位。稍稍有點心得，大神們，批評力度稍輕點。

圖形影象演算法，在圖文、影片時代，變得愈發重要。也徹底顛覆了文娛、多媒體行業的生態。

應用領域

在to C的影象應用中，短影片業務，非常有活力，訪問量大，人數眾多，市場消費意願最強烈。其中，人在影象、影片業務中，愈發重要。實體美妝、醫美產業、服飾是女性消費市場的主要內容。人在影象和影片中，最核心的兩個區域包括：人臉、肢體。具體應用技術又包括：

人臉的卡通化

人臉的多樣性和獨特性一直是計算機視覺、圖形學和模式識別等領域研究的熱點問題。卡通化藝術以其特有的表現形式和手法引領著藝術發展的新潮流。

比如，前兩天，出現在社交網路上的小女孩。

兩者相結合，人臉卡通化，透過線條的描繪和顏色的渲染，以其特有的誇張模式，形象和逼真的再現人臉影象，在網路遊戲、互動論壇、社交軟體以及動漫等領域應用廣泛。 這一點，在抖音上，已經被多次證明了。 好看的面龐、婀娜的身姿，就是有爆棚的可能。

現有的基於學習的人臉卡通化方法，通常將影象分成若干小塊，並透過對影象塊的匹配及合成，來實現卡通影象的合成。然而受到塊效應的影響，影象中的人臉特徵細節描述不詳細，人臉線條效果欠佳。而目前流行的人臉定位方法，透過對人臉特徵的準確定位，能夠得到更好的細節描述及線條效果。

影象卡通化任務的主要難點：

卡通影象往往有清晰的邊緣，平滑的色塊和經過簡化的紋理，與其他藝術風格有很大區別。

使用傳統影象處理技術生成的卡通圖無法自適應地處理複雜的光照和紋理，效果較差；基於風格遷移的方法無法對細節進行準確地勾勒。

資料獲取難度大。

繪製風格精美且統一的卡通畫耗時較多、成本較高，且轉換後的卡通畫和原照片的臉型及五官形狀有差異，因此不構成畫素級的成對資料，難以採用基於成對資料的影象翻譯（Paired Image Translation）方法。

照片卡通化後容易丟失身份資訊。

基於非成對資料的影象翻譯（UnpairedImage Translation）方法中的迴圈一致性損失（Cycle Loss）無法對輸入輸出的id進行有效約束。

人臉的建模

《螞蟻呀嘿》一經誕生，就立刻火爆了網路。基於生成工具，已經可以快速傳遍全網了。

利用影象變形演算法，透過控制主要面部器官特徵點的位置，使無表情的卡通人臉變換出微笑、悲傷等形象、生動和俏皮的表情。

《螞蟻呀嘿》背後的工具軟體，叫做

Avatarify。

開啟Avatarify軟體，軟體中選擇一張多人照片，多人照片中選擇其中一個人臉，選擇模板；

隨著《螞蟻呀嘿》的爆紅刷屏，《Avatar阿凡達》 在中國地區，再一次衝進電影院的拍片名詞榜榜首。

多位產品、開發方面的人士告訴深燃，這類軟體的技術含量並不高，能否持續留住使用者，需要不停地圍繞核心功能開發產品形態、擴張產品鏈路。

肢體的建模

人體行為識別是計算機視覺領域的一個熱門的研究課題，在智慧視覺監控、影片檢索、人機互動等領域有著廣泛的應用前景，也受到了越來越多研究關注。

研究者們也提出了許多人體行為特徵描述方法，如區域性時空興趣點［2］、密集點軌跡［3］、密集 3-D 梯度直方圖［4］等，用於行為識別研究。雖然將這些方法用於行為識別研究也取得一定的成效，但是這些方法所採用的行為特徵側重於描述人體運動的底層或中層特徵，缺乏語義性和直觀性［5-14］。透過觀察肢體在時間軸上的運動軌跡不難發現，現有這些方法對運動的描述與人類真實的運動是不相符合的。

影象去霧Image Haze Removal

影象去霧本是影象處理領域十分悠久的課題。

在計算機視覺中，影象去霧雖然不像目標檢測、語義分割這種任務，整天放在臺面上說，但實際上也有大量的研究人員在不斷的研究新方法攻克這一充滿挑戰性的問題。具體來說，影象去霧演算法大致可以分為下面這幾類。

（1）基於影象增強的去霧演算法

基於影象增強的去霧演算法出發點是儘量去除影象噪聲，提高影象對比度，從而恢復出無霧清晰影象。代表性方法有：直方圖均衡化（HLE）、自適應直方圖均衡化（AHE）、限制對比度自適應直方圖均衡化（CLAHE） 、Retinex演算法、小波變換、同態濾波等等。

（2）基於影象復原的去霧演算法

這一系列方法基本是基於大氣退化模型，進行響應的去霧處理。代表性演算法有：來自

何凱明

博士（香港中文大學，後加入微軟中國研究院）的暗通道去霧演算法（CVPR 2009最佳論文）、基於導向濾波的暗通道去霧演算法、Fattal的單幅影象去霧演算法（Single image dehazing） 、Tan的單一影象去霧演算法（Visibility in bad weather from a single image） 、Tarel的快速影象恢復演算法（Fast visibility restoration from a single color or gray level image） 、貝葉斯去霧演算法（Single image defogging by multiscale depth fusion），基於大氣退化模型的去霧效果普遍好於基於影象增強的去霧演算法，後面挑選的傳統去霧演算法例子也大多是基於影象復原的去霧演算法。

（3）基於深度學習的去霧演算法

由於CNN近年在一些任務上取得了較大的進展，去霧演算法自然也有大量基於CNN的相關工作。這類方法是主要可以分為兩類，第一類仍然是於大氣退化模型，利用神經網路對模型中的引數進行估計，早期的方法大多數是基於這種思想。第二類則是利用輸入的有霧影象，直接輸出得到去霧後的影象，也即是深度學習中常說的end2end。

演算法的能力體系

數理基礎

線性代數（矩陣計算、逆、秩、範數、特徵分解、Moore-Penrose 偽逆等），數值分析（拉格朗日、龍塔、拉普拉斯、基於梯度的最佳化、約束最佳化），機率與資訊理論（隨機變數、常用機率分佈、條件機率、期望方差協方差、貝葉斯網路、HMM）。

數理基礎，作為最難的部分，必然也是很難一句話講完整。

在此，推薦兩本書，一本書，從理論到公式推導，指導工作實踐

這本書在介紹深度學習時，也列舉了相當的數理基礎知識內容。

一本從數學建模的思路，從總體上分析各類數學工具、模型的

數理特徵和應用邊界

，便於針對應用場景的的模型選擇。我認為，這對於解決實際工程問題，更加重要，因為解題思路是解決問題的第一步。

對頂刊論文的重現能力

原創性技術的研發，越來越被大型平臺所看重，也是年輕工程師應該用力的地方。

儘管原創性工作需要前無古人，但站在一些定刊論文的基礎上，進行演算法重現，無論是對於學校的科研，還是企業的科研，都有著無與倫比的重要意義。

目前，計算機頂刊論文，許多作者原意分享論文的核心程式碼。這是對科學技術研發的重要貢獻。

本文博主的部分程式碼，也可以在git上，可以檢視。

C++中標準庫的掌握

資料型別、結構體、各類容器

經典演算法（查詢、排序）

特定功能相關的函式庫、工具箱

關於影象演算法，有一些特定的數學工具箱，有一篇更詳細的博文，在這裡有更系統的總結。

梳理自己的工程流程、系統框架、經驗函式、演算法成果

定期梳理並總結自己的工作，做必要的存檔，有助於自己提升自己的思維能力、軟體產品能力。

感想

曾幾何時，同其他少年一樣，我的夢想也是當科學家，後來發現，科學家的助理也可能成為晚成的科學家，想著成為未來（偉大）的科學家的助理，那也是一件很幸福的事。這麼多年過去了，夢想逐漸變成了。而旁邊的同學，都成為棟樑，有做衛星的，有做航母的，有做導彈的，有做打飛機的，有做淘寶平臺的，有做google street view。而，我的夢想，在哪裡？

還是得去大平臺，才有機會做點能長久的事情。這是最要緊的選擇。

想要留史，就得堅持做有價值的事物，潛心理論，深入實踐。

與君共勉。

關於

人臉建模、計算機視覺、自動駕駛汽車

交流，請大家關注