作者 | 木東居士
來源 | Data_Engineering
最近看了 Milter 的《算法工程師究竟需要哪些工程能力》這篇文章，有所感想，因此也寫一篇關于算法工程師的技術能力的問題，和大家分享一下居士關于算法工程師的技術能力的觀點。
對于一名優秀的算法工程師，他（她）要具備的不僅僅是出色的技術能力，也要有很深的業務理解能力和對外溝通能力，總之，要求可以很高！
但是，從職責能力的劃分上來講，算法工程師首先是一名工程師，因此本文主要從工程能力要求上進行一些探討。
開始之前先放一份思維導圖，這將是這篇文章要分享的核心內容：
工程能力概覽
算法工程師，從名字上我們就能看出，一名算法工程師首先應該具備算法能力和工程能力，我們可以認為這是基礎的技術能力。由于現在開源技術的普及，Sklearn、Tensorflow 和 Spark ML 基本已經成為大部分算法工程師標配的工具庫了，因此，熟練的調包能力也是決定了一名算法工程師能否快速實現需求。
其次，在真實的生產環境中，算法的落地會遇到各種各樣的業務場景和數據環境，這也要求算法工程師需要具備Pipeline 構建能力，將整個生產環境中的數據流和模型打通。同時，在生產環境中，會出現各種“疑難雜癥”等待你去解釋，比如說為什么實驗效果特別差？為什么模型效果不穩定？這就要要求算法工程師需要具備一定的數據分析能力。
很多時候，你會發現，你用在數據分析和Pipeline構建上的精力可能占據了你8成以上的工作內容。
當你具備了上面的能力時，你已經可以稱自己是一名算法工程師了。此時，你可以去對著數據分析小得瑟一下：“你看，我能構建整個模型的Pipeline，你卻只能拿到別人提供的數據后調調包吧。“或者，你也可以去找開發得瑟：”你看，我懂了很多算法哦，你就只會寫代碼吧。“
得瑟完之后，我們還是回歸正題，算法工程師只具備這樣能力是否已經夠了？答案當然是不夠的。由于不同公司的團隊成熟度不同，工具化和流程的成熟度都不同，這就會對算法工程師有不同的要求，比如說模型發布能力和報表開發能力，當然也會有一些其它能力，雖然可能不是特別重要，但是當這些工作沒人幫你做的時候，算法工程師可能依然要承擔起這些工作內容，比如說灰度測試的能力、負載均衡的能力等等。
將上面的內容整理后，就是這樣一份思維導圖了（一張圖多看幾篇更能加深印象，因此我再貼出來一遍）
工程能力詳解
一、基礎能力
算法能力
算法能力就不多說了，算法工程師的基本能力要求，不懂算法對于一名算法工程師來講是不太合理的。這里居士把統計學的內容也放進來了。
編程能力
編程能力主要分為兩部分：
- Python、C++、JAVA這類編程語言，這三種也是算法工程師需要了解的主流編程語言，一般掌握其一就夠，看不同公司。
- Sql就是很通用的能力了，Sql也是一門編程語言，而是是數據處理最常用的語言！
- 很好用。
- 大數據場景下，要了解Hive Sql。
調包能力
大家雖然會調侃調包俠，但是說實話，能調包調的很溜的人，也是不多的，比如說現在讓你自己用tensorflow構建一個復雜網絡，不能google，你能寫出來嗎？能記清楚用法嗎？
- Sklearn
- Tensorflow
- Spark ML
二、核心能力
Pipeline 構建能力
Pipeline構建能力，這里想表達的更多的是整個數據流的構建能力，數據從日志->特征->模型訓練->反饋，這一個鏈條能否完成的能力，這里面會有很多難題需要克服。比如說：
- 實時和離線模型一致性問題？
- 離線和實時特征一致性問題？
- 實時特征構建的問題？
- 數據延遲的問題？
很多時候，模型發布之類的工作是可以由其他同學支持完成，但是數據流這種問題更多的是需要算法工程師來解決的。
數據分析能力
這里的數據分析能力不是指商業分析或者業務分析，更多的是指特征分析、算法效果分析和各種異常問題定位分析的能力。
很多時候，兩個算法工程師能力水平的強弱從數據分析能力上也能窺得一二。
三、輔助技術能力
輔助的技術能力是指，你會不會的影響不會特別大，但是也都是有用的能力，特別是不同公司的發展情況不同，很可能會出現一個算法工程師既要做數據接入、又要做數據清洗、還要做算法平臺
也要搞前端、還要負責模型上線、系統運維。
這里就不再細講了。
思考一
聊一下對技術能力、工程能力和數據分析的思考。
居士個人的理解，技術能力更多的是偏向于一個一個的技術點，而工程能力更多就是在一個團隊中將項目做好的能力。很多算法出身的工程能力不行，那么他做的單純的一個模型是無法應用到實際生產中的，而工程就是指把理論落地實際生產的過程。那么工程包含了什么？它包括了系統架構設計和模塊設計、數據流搭建和平臺搭建、調包或算法開發、分布式、上線以及各種落地的代碼開發。報表和監控，其實本質也是做數據流，邊緣性的可能要做些后臺和前端的開發。
然后數據分析能力是什么？數據分析（不是純粹的數據分析）除了分析方法論和套路外，是一個很綜合性、相對偏軟一點的能力，比如說你通過分析發現了我們的系統有哪些可以優化的點，通過分析發現了問題的原因是什么，這些都是分析能力。
思考二
針對前面的內容，和 Cathy 討論后，對整個思路做了新的梳理，大家直接看圖就好，居士也認為這樣描述可能更為合理。
思考三
這里再補充一個模型復現的能力，比如你看了一篇論文，發現這個模型可能很適合自己的業務場景，那么你是否能力將論文里面的模型快速用公司現有的平臺和工具來復現？
居士認為，這一個是一個非常重要的能力，但是沒有想好具體該怎樣劃分。
