工程師演算法
① 作為一名演算法工程師,你覺得最重要的能力是什麼
本文列舉了演算法工程師需要掌握的能力,聽我一一道來,至於哪個更重要,文末我會給出一些個人建議。
軟體工程能力
雖然說演算法工程師日常工作是實驗多,代碼少,軟體工程能力要求不及大型軟體的工程師。但做演算法工程師可不是每天在jupyter notebook做完實驗就完事的,你的代碼最終需要融入到產品里,所以代碼必須規范。演算法工程師本質上,還是工程師。所以軟體工程能力是必不可少的。不要求說達到特別高的工程造詣,但基本的代碼規范,合理的模塊設計,以及對模塊進行單元測試的能力,我認為是必不可少的。
商業邏輯洞察力
有的項目是to C,有的是to B。不同的項目有著不同的商業邏輯。例如檢測信貸風險,你不可能直接堆砌幾個模型就能得到好的結果。但作為演算法工程師,商業邏輯上肯定是不可能比客戶理解透徹的。你需要多點和客戶溝通。例如我做信貸風險檢測,我需要知道他們的數據是如何產生,產生的頻率是啥,從而我可以判斷某些欄位做aggregation時是應該用avg,sum,還是max比較合理。除此之外,理解一些商業邏輯有助於構建非常有效的特徵。我們知道一個人月收入越高還債能力越強,但也知道負債越多違約風險也越大,而一個高收入的人貸款的額度也會大,這就產生了矛盾。而通過了解商業邏輯,學到一個指標叫debt burden ratio後,你就可以構建一個特徵,用客戶的收入除以客戶的負債,就可以計算出一個更有效檢測風險的特徵。雖然我們知道深度學習網路有自動構建特徵的能力,畢竟GIGO(garbage in garbage out),數據未處理前,對模型來說就是garbage。不要覺得這種要靠人思考來構建特徵的方法很原始,畢竟人工智慧,先有人工後有智能。
除了和客戶溝通外,團隊內部頭腦風暴下,也是一種激發想法的好方法。
文獻檢索能力
這個能力其實對任何智力輸出的職業來說都很重要。我們都需要保持大腦時刻更新。在演算法上,關注最新文獻,關注SotA(state of the art)的演算法,關注工業實踐的新動態。
同時在相關商業上,了解你的演算法所服務的行業,了解他們的運作。如果你是做手機圖片AI的,可以查找手機處理器的發展的資料,目前主流的手機能有多少計算能力;如果你是做金融服務,則關注金融市場相關產品的新聞,了解最新居民收入消費水平,不然你的演算法預測不準時,你沒有相關商業知識,就難以找出哪個特徵過時了。
總結匯報能力
這個能力其實對任何職業來說都很重要。即使你是清潔工,你也要匯報工作。對內,要會把自己的成果反饋給領導;直接上級一般也是工程師,可以用工程化的語言來匯報成果,比如模型的recall是多少,AUC是多少等。也可能對非技術的同事匯報,比如銷售,就要更多的把匯報關注在商業價值,例如「上線一個月為客戶減少了20%的運營成本,營收增加40%」。如果你是做to B業務,經常要對客戶匯報。你的模型開發後,在測試集上的結果是多少,預計上線後能為客戶創造多少價值等。
心理素質
演算法工程師畢竟日常很多時間都花在試驗上,試驗失敗是兵家常事。所以一定要學會開導自己,即使你的模型一周都沒提升,也要給自己信心。
同時,由於這個工作性質會接觸到不同技術背景的人,所以有時候你會覺得簡單的一個概念,對方卻問了好幾次都沒懂,你就可能不耐煩。這時請沉住氣,保持耐心溝通,不妨多換幾個角度,幫助對方理解,畢竟對方理解了,也許還能給你一些意想不到的建議。
至於哪個能力更重要?這得看你個人職業規劃。
· 如果你未來想成為億萬商業和頂尖技術直接的那個紐帶,帶領團隊開發具有市場價值的產品。你需要增強自己的邏輯邏輯洞察力;
· 如果你想成為AI系統架構師,可以增強自己的軟體工程能力。
· 如果你想成為資深研究員,可以增強自己的文獻查找能力,並嘗試在平台(大學或公司)的幫助下發表論文。
去吧,根據自己對未來暢想,增強自己某一方面的能力吧。
② 演算法工程師是青春飯嗎以後的發展路線是怎樣的
演算法工程師不是青春飯。
在入職的年齡中,演算法工程師的入職年份越多,就有越多的公司要你。由於演算法工程師對於知識結構的要求比較豐富,同時演算法工程師崗位主要以研發為主,需要從業者具備一定的創新能力,所以要想從事演算法工程師崗位往往需要讀一下研究生,目前不少大型科技企業對於演算法工程師的相關崗位也有一定的學歷要求。
提到人工智慧,就不得不提人工智慧領域最炙手可熱的演算法工程師。演算法即一系列解決問題的清晰指令,演算法工程師就是利用演算法處理事物的人。演算法工程師主要根據業務進行細分,常見的有廣告演算法工程師、推薦演算法工程師、圖像演算法工程師等等。
但作為熱門領域和人才供不應求的人工智慧,開出的薪資依舊讓人羨慕眼紅。獵頭Jony表示「人工智慧科班出身的博士,50萬年薪僅僅是起步價,優秀的開到80萬、100萬都不一定能搶到。」
③ 演算法工程師工作期間需要掌握什麼知識學到哪些核心技術
演算法工程師的主要核心技術基於數學,並輔以語言。要全面掌握的知識包括高級數學,復變函數,線性代數的離散數學,數據結構以及數據挖掘所需的概率論和數學統計知識。不要太受約束去平時閱讀教科書並多練習,並培養良好的思維能力。只有那些有想法的人才能擁有技術的未來。嘗試實現您遇到的任何演算法,無論演算法的優劣總是有其自身的特徵。此外,您必須具有一定的英語水平(至少6級),因為該領域的大多數官方材料都是外語。
計算機及相關專業本科以上學歷,在互聯網搜索,推薦,流量或相關領域有2年以上工作經驗。熟悉機器學習/自然語言處理/數據挖掘/深度學習中至少一項的原理和演算法,並且能夠熟練地建模和解決業務問題。精通Linux平台下的C / C ++ / Java語言開發,精通使用gcc / gdb等開發工具,並精通Python / Linux Shell / SQL等腳本開發。熟悉hadoop / hbase / storm等分布式計算技術,並熟悉其運行機制和體系結構。具有出色的分析和解決問題的能力,思路清晰,並對工作挑戰充滿熱情。具有強烈的工作責任感和團隊合作精神,並能夠交流和更好地學習。
④ 演算法工程師應該具備哪些工程能力
作者 | 木東居士
來源 | Data_Engineering
最近看了 Milter 的《演算法工程師究竟需要哪些工程能力》這篇文章,有所感想,因此也寫一篇關於演算法工程師的技術能力的問題,和大家分享一下居士關於演算法工程師的技術能力的觀點。
對於一名優秀的演算法工程師,他(她)要具備的不僅僅是出色的技術能力,也要有很深的業務理解能力和對外溝通能力,總之,要求可以很高!
但是,從職責能力的劃分上來講,演算法工程師首先是一名工程師,因此本文主要從工程能力要求上進行一些探討。
開始之前先放一份思維導圖,這將是這篇文章要分享的核心內容:
工程能力概覽
演算法工程師,從名字上我們就能看出,一名演算法工程師首先應該具備演算法能力和工程能力,我們可以認為這是基礎的技術能力。由於現在開源技術的普及,Sklearn、Tensorflow 和 Spark ML 基本已經成為大部分演算法工程師標配的工具庫了,因此,熟練的調包能力也是決定了一名演算法工程師能否快速實現需求。
其次,在真實的生產環境中,演算法的落地會遇到各種各樣的業務場景和數據環境,這也要求演算法工程師需要具備Pipeline 構建能力,將整個生產環境中的數據流和模型打通。同時,在生產環境中,會出現各種「疑難雜症」等待你去解釋,比如說為什麼實驗效果特別差?為什麼模型效果不穩定?這就要要求演算法工程師需要具備一定的數據分析能力。
很多時候,你會發現,你用在數據分析和Pipeline構建上的精力可能占據了你8成以上的工作內容。
當你具備了上面的能力時,你已經可以稱自己是一名演算法工程師了。此時,你可以去對著數據分析小得瑟一下:「你看,我能構建整個模型的Pipeline,你卻只能拿到別人提供的數據後調調包吧。「或者,你也可以去找開發得瑟:」你看,我懂了很多演算法哦,你就只會寫代碼吧。「
得瑟完之後,我們還是回歸正題,演算法工程師只具備這樣能力是否已經夠了?答案當然是不夠的。由於不同公司的團隊成熟度不同,工具化和流程的成熟度都不同,這就會對演算法工程師有不同的要求,比如說模型發布能力和報表開發能力,當然也會有一些其它能力,雖然可能不是特別重要,但是當這些工作沒人幫你做的時候,演算法工程師可能依然要承擔起這些工作內容,比如說灰度測試的能力、負載均衡的能力等等。
將上面的內容整理後,就是這樣一份思維導圖了(一張圖多看幾篇更能加深印象,因此我再貼出來一遍)
工程能力詳解
一、基礎能力
演算法能力
演算法能力就不多說了,演算法工程師的基本能力要求,不懂演算法對於一名演算法工程師來講是不太合理的。這里居士把統計學的內容也放進來了。
編程能力
編程能力主要分為兩部分:
Python、C++、Java這類編程語言,這三種也是演算法工程師需要了解的主流編程語言,一般掌握其一就夠,看不同公司。 Sql就是很通用的能力了,Sql也是一門編程語言,而是是數據處理最常用的語言! 很好用。 大數據場景下,要了解Hive Sql。調包能力
大家雖然會調侃調包俠,但是說實話,能調包調的很溜的人,也是不多的,比如說現在讓你自己用tensorflow構建一個復雜網路,不能google,你能寫出來嗎?能記清楚用法嗎?
Sklearn Tensorflow Spark ML二、核心能力
Pipeline 構建能力
Pipeline構建能力,這里想表達的更多的是整個數據流的構建能力,數據從日誌->特徵->模型訓練->反饋,這一個鏈條能否完成的能力,這裡面會有很多難題需要克服。比如說:
實時和離線模型一致性問題? 離線和實時特徵一致性問題? 實時特徵構建的問題? 數據延遲的問題?很多時候,模型發布之類的工作是可以由其他同學支持完成,但是數據流這種問題更多的是需要演算法工程師來解決的。
數據分析能力
這里的數據分析能力不是指商業分析或者業務分析,更多的是指特徵分析、演算法效果分析和各種異常問題定位分析的能力。
很多時候,兩個演算法工程師能力水平的強弱從數據分析能力上也能窺得一二。
三、輔助技術能力
輔助的技術能力是指,你會不會的影響不會特別大,但是也都是有用的能力,特別是不同公司的發展情況不同,很可能會出現一個演算法工程師既要做數據接入、又要做數據清洗、還要做演算法平台
也要搞前端、還要負責模型上線、系統運維。
這里就不再細講了。
思考一
聊一下對技術能力、工程能力和數據分析的思考。
居士個人的理解,技術能力更多的是偏向於一個一個的技術點,而工程能力更多就是在一個團隊中將項目做好的能力。很多演算法出身的工程能力不行,那麼他做的單純的一個模型是無法應用到實際生產中的,而工程就是指把理論落地實際生產的過程。那麼工程包含了什麼?它包括了系統架構設計和模塊設計、數據流搭建和平台搭建、調包或演算法開發、分布式、上線以及各種落地的代碼開發。報表和監控,其實本質也是做數據流,邊緣性的可能要做些後台和前端的開發。
然後數據分析能力是什麼?數據分析(不是純粹的數據分析)除了分析方法論和套路外,是一個很綜合性、相對偏軟一點的能力,比如說你通過分析發現了我們的系統有哪些可以優化的點,通過分析發現了問題的原因是什麼,這些都是分析能力。
思考二
針對前面的內容,和 Cathy 討論後,對整個思路做了新的梳理,大家直接看圖就好,居士也認為這樣描述可能更為合理。
思考三
這里再補充一個模型復現的能力,比如你看了一篇論文,發現這個模型可能很適合自己的業務場景,那麼你是否能力將論文裡面的模型快速用公司現有的平台和工具來復現?
居士認為,這一個是一個非常重要的能力,但是沒有想好具體該怎樣劃分。
⑤ 數據演算法工程師主要是做什麼的
只有數據科學家和演算法工程師,數據科學家關注於用演算法研究數據背後的信息,演算法工程師負責將科學家研發的演算法應用到實際生產活動中
演算法工程師就是會一些人工智慧演算法的工程師。工作就是做一些人工智慧演算法相關的任務:根據任務整理數據(如果沒有數據最好可以協助建立獲取數據的流程)跑模型,改進模型部署模型,測試,優化速度等等其實AI行業比較欠缺好的產品經理,演算法工程師在需求設計和溝通上最好也能參合參合,都是有益的。
想了解數據演算法工程師這個職業可以到CDA認證中心去了解一下,CDA認證,致力於打造全球數據人才考核行業標准,推動全球數人才發展。包括開發和整合國際數據科學領域的前沿技術及優質資源; 制定並完善數據科學行業人才標准與職業道德行為准則;編寫和建立專業教材體系與題庫;組織並實施命題審題、人才評定和考試服務;管理會員與提供行業咨詢服務等事務。
⑥ 演算法工程師、研發工程師、軟體工程師都是什麼
解釋如下:
1、演算法工程師就是利用演算法處理事物的人,根據研究領域來分主要有音頻/視頻演算法處理、圖像技術方面的二維信息演算法處理和通信物理層、雷達信號處理、生物醫學信號處理等領域的一維信息演算法處理,且逐漸往人工智慧方向發展。
2、研發工程師是指從事某種行業,對某種不存在的事物進行系統的研究和開發並具有一定經驗的專業工作者,或者對已經存在的事物進行改進以達到優化目的的專業工作者。要求具備強烈的好奇心,喜歡新生事物,以鑽研為樂趣。
3、軟體工程師是從事軟體職業的人員的一種職業能力的認證,通過它說明具備了工程師的資格。軟體工程師是從事軟體開發相關工作的人員的統稱。它是一個廣義的概念,包括軟體設計人員、軟體架構人員、軟體工程管理人員、程序員等一系列崗位,工作內容都與軟體開發生產相關。
(6)工程師演算法擴展閱讀
1、演算法工程師要求:
專業要求:計算機、電子、通信、數學等相關專業;
學歷要求:本科及其以上的學歷,大多數是碩士學歷及其以上;
語言要求:英語要求是熟練,基本上能閱讀國外專業書刊;
能力要求:熟練掌握計算機相關知識,熟練使用模擬工具MATLAB等,至少會一門編程語言。
2、研發工程師要求:
教育培訓: 電器設計或機械製造專業大專以上學歷。
工作經驗: 3年以上電器行業工作經驗;熟悉模具類產品加工、生產過程;熟練使用CAD、proE、Photoshop 及辦公軟體。
3、軟體工程師要求(.NET方面的開發):
技能要求:熟悉.net開發體系,熟悉C#ASP.NET;熟悉SQLServer,Oracle資料庫開發
工作經驗:要求至少3年開發經驗,具有企業管理系統項目經驗,了解企業ERP及財務管理軟體(用友,金蝶)者優先。
能力要求:善於溝通,能獨立撰寫方案。為人誠實,善於學習,做事認真負責,積極主動,具有敬業精神,有團隊精神
⑦ 成為一名合格的演算法工程師需要掌握哪些技能
演算法工程師目前是一個高端也是相對緊缺的職位;近兩年的就業前景是非常好的,薪資也比較高。但是演算法工程師同時也需要不斷學習。那麼成為一名合格的演算法工程師需要掌握哪些崗位技能呢,我們接著往下看。
業務學習能力
演算法工程師是不可能脫離業務背景的,人工智慧演算法工程師、交通演算法工程師、圖像處理演算法工程師等等。
針對一個業務場景設計一個合理的演算法,業務知識是非常重要的,需要結合業務的實際情況、限定條件、各種專業詞彙和知識都要有一定的了解,如果脫離場景而一味地琢磨演算法,效果不會太好。
比如,做交通演算法,需要對交通組織、交通管理、通行損失、周期延誤等有所認知。比如,做圖像處理,需要對各種圖像去噪、圖像增廣、圖像分割、物理成像有所了解,知道像素底層是怎麼回事。
持續學習能力
演算法工程師的主要工作就是拿著現有成熟的演算法,結合面臨業務場景去做一個合理的方案,如果我們知識面太窄,那顯然當用到的時候會有點拮據,眼界也被限制住,不知道還有沒有更好效果的演算法、目前演算法有哪些不足之處、在這個業務中能不能發揮作用。
只有持續學習,了解足夠多的知識,當我們面臨問題的時候能夠快速對比、選擇,找出最合適的一種演算法。
靈活的思維
當我們選擇一種演算法去解決一個問題時,效果肯定無法達到我們預期的那樣。比如我們拿mask rcnn做醫學圖像語義分割,我們看著它在自然圖像方面表現效果很好,就拿來用於醫學圖像。但是醫學圖像有它的難點和特殊性,當跑出效果時會發現結果不如人意,這時候就需要靈活的思維去發現問題,去調優、改進,或者從數據入手,或者從網路模型入手,或者從超參數入手。
編程能力
不同公司對於演算法工程師的定位有所差別,比如有些朋友在某公司做演算法工程師只負責方案的設計,開發由專門的開發人員實施。有的公司演算法工程師要完成演算法設計到開發全部工作。
無論是哪一種形式,編程能力都是必要的,就算是前者這樣的形式,有專門的開發人員,那在演算法的設計過程中需要驗證、對比,對每一個小模塊演算法進行指標評價,你不可能事事都找別人來幫你做,這樣效率低,而且開展工作困難。綜上所述,就是小編今天整理的關於演算法工程師的相關內容,希望可以幫助到大家。
⑧ 如何成為一名合格的演算法工程師
BAT企業的演算法工程師是這樣工作的:問題抽象、數據採集和處理、特徵工程、建模訓練調優、模型評估、上線部署。(具體操作可以看阿里演算法專家chris老師的演算法工作流視頻演算法工作流是怎樣的?)而一個演算法工程師真正值錢的地方在於問題抽象和上線部署這兩個。