演算法數據俠
㈠ 演算法工程師應該具備哪些工程能力
作者 | 木東居士
來源 | Data_Engineering
最近看了 Milter 的《演算法工程師究竟需要哪些工程能力》這篇文章，有所感想，因此也寫一篇關於演算法工程師的技術能力的問題，和大家分享一下居士關於演算法工程師的技術能力的觀點。
對於一名優秀的演算法工程師，他（她）要具備的不僅僅是出色的技術能力，也要有很深的業務理解能力和對外溝通能力，總之，要求可以很高！
但是，從職責能力的劃分上來講，演算法工程師首先是一名工程師，因此本文主要從工程能力要求上進行一些探討。
開始之前先放一份思維導圖，這將是這篇文章要分享的核心內容：
工程能力概覽
演算法工程師，從名字上我們就能看出，一名演算法工程師首先應該具備演算法能力和工程能力，我們可以認為這是基礎的技術能力。由於現在開源技術的普及，Sklearn、Tensorflow 和 Spark ML 基本已經成為大部分演算法工程師標配的工具庫了，因此，熟練的調包能力也是決定了一名演算法工程師能否快速實現需求。
其次，在真實的生產環境中，演算法的落地會遇到各種各樣的業務場景和數據環境，這也要求演算法工程師需要具備Pipeline 構建能力，將整個生產環境中的數據流和模型打通。同時，在生產環境中，會出現各種「疑難雜症」等待你去解釋，比如說為什麼實驗效果特別差？為什麼模型效果不穩定？這就要要求演算法工程師需要具備一定的數據分析能力。
很多時候，你會發現，你用在數據分析和Pipeline構建上的精力可能占據了你8成以上的工作內容。
當你具備了上面的能力時，你已經可以稱自己是一名演算法工程師了。此時，你可以去對著數據分析小得瑟一下：「你看，我能構建整個模型的Pipeline，你卻只能拿到別人提供的數據後調調包吧。「或者，你也可以去找開發得瑟：」你看，我懂了很多演算法哦，你就只會寫代碼吧。「
得瑟完之後，我們還是回歸正題，演算法工程師只具備這樣能力是否已經夠了？答案當然是不夠的。由於不同公司的團隊成熟度不同，工具化和流程的成熟度都不同，這就會對演算法工程師有不同的要求，比如說模型發布能力和報表開發能力，當然也會有一些其它能力，雖然可能不是特別重要，但是當這些工作沒人幫你做的時候，演算法工程師可能依然要承擔起這些工作內容，比如說灰度測試的能力、負載均衡的能力等等。
將上面的內容整理後，就是這樣一份思維導圖了（一張圖多看幾篇更能加深印象，因此我再貼出來一遍）
工程能力詳解
一、基礎能力
演算法能力
演算法能力就不多說了，演算法工程師的基本能力要求，不懂演算法對於一名演算法工程師來講是不太合理的。這里居士把統計學的內容也放進來了。
編程能力
編程能力主要分為兩部分：
Python、C++、Java這類編程語言，這三種也是演算法工程師需要了解的主流編程語言，一般掌握其一就夠，看不同公司。 Sql就是很通用的能力了，Sql也是一門編程語言，而是是數據處理最常用的語言！ 很好用。 大數據場景下，要了解Hive Sql。調包能力
大家雖然會調侃調包俠，但是說實話，能調包調的很溜的人，也是不多的，比如說現在讓你自己用tensorflow構建一個復雜網路，不能google，你能寫出來嗎？能記清楚用法嗎？
Sklearn Tensorflow Spark ML二、核心能力
Pipeline 構建能力
Pipeline構建能力，這里想表達的更多的是整個數據流的構建能力，數據從日誌->特徵->模型訓練->反饋，這一個鏈條能否完成的能力，這裡面會有很多難題需要克服。比如說：
實時和離線模型一致性問題？ 離線和實時特徵一致性問題？ 實時特徵構建的問題？ 數據延遲的問題？很多時候，模型發布之類的工作是可以由其他同學支持完成，但是數據流這種問題更多的是需要演算法工程師來解決的。
數據分析能力
這里的數據分析能力不是指商業分析或者業務分析，更多的是指特徵分析、演算法效果分析和各種異常問題定位分析的能力。
很多時候，兩個演算法工程師能力水平的強弱從數據分析能力上也能窺得一二。
三、輔助技術能力
輔助的技術能力是指，你會不會的影響不會特別大，但是也都是有用的能力，特別是不同公司的發展情況不同，很可能會出現一個演算法工程師既要做數據接入、又要做數據清洗、還要做演算法平台
也要搞前端、還要負責模型上線、系統運維。
這里就不再細講了。
思考一
聊一下對技術能力、工程能力和數據分析的思考。
居士個人的理解，技術能力更多的是偏向於一個一個的技術點，而工程能力更多就是在一個團隊中將項目做好的能力。很多演算法出身的工程能力不行，那麼他做的單純的一個模型是無法應用到實際生產中的，而工程就是指把理論落地實際生產的過程。那麼工程包含了什麼？它包括了系統架構設計和模塊設計、數據流搭建和平台搭建、調包或演算法開發、分布式、上線以及各種落地的代碼開發。報表和監控，其實本質也是做數據流，邊緣性的可能要做些後台和前端的開發。
然後數據分析能力是什麼？數據分析（不是純粹的數據分析）除了分析方法論和套路外，是一個很綜合性、相對偏軟一點的能力，比如說你通過分析發現了我們的系統有哪些可以優化的點，通過分析發現了問題的原因是什麼，這些都是分析能力。
思考二
針對前面的內容，和 Cathy 討論後，對整個思路做了新的梳理，大家直接看圖就好，居士也認為這樣描述可能更為合理。
思考三
這里再補充一個模型復現的能力，比如你看了一篇論文，發現這個模型可能很適合自己的業務場景，那麼你是否能力將論文裡面的模型快速用公司現有的平台和工具來復現？
居士認為，這一個是一個非常重要的能力，但是沒有想好具體該怎樣劃分。
㈡ 在哪些網站可以獲取電網故障數據
之前微信上面關注了一個公重號叫「演算法數據俠」，有分享的還蠻全的負荷預測、故障診斷、圖像數據集，涵蓋面很廣，我經常用上面的數據做實驗
㈢ 演算法和數據結構設計
沒有問題的，用c++編譯。
第一個問題的答案：
#include <stdio.h>
#include <malloc.h>
#include <deque>
#include <iostream>
using namespace std;
static const int N=7;
struct BSTreeNode // a node in the binary search tree (BST)
{ int m_nValue; // value of node
BSTreeNode *m_pLeft; // left child of node
BSTreeNode *m_pRight; // right child of node
};
static int add_tree(BSTreeNode*& T,int num)
{
if(T==NULL)
{
T = (BSTreeNode*)malloc(sizeof(BSTreeNode));
if(NULL == T)
return -1;
T->m_nValue = num;
T->m_pLeft = NULL;
T->m_pRight = NULL;
}
else if(T->m_nValue > num)
return add_tree(T->m_pLeft, num);
else
return add_tree(T->m_pRight, num);
return 0;
}
static void mid_walk_tree(BSTreeNode* T)
{
if(T!=NULL)
{
mid_walk_tree(T->m_pLeft);
printf("%d\t",T->m_nValue);
mid_walk_tree(T->m_pRight);
}
}
void printTreeNodesByLayer(BSTreeNode* T)
{
if(NULL == T)
return;
deque<BSTreeNode*>treeDeque;
treeDeque.push_back(T);
while(treeDeque.size())
{
BSTreeNode* pNode = treeDeque.front();
printf("%d\t",pNode->m_nValue);
treeDeque.pop_front();
if(NULL != pNode->m_pLeft)
treeDeque.push_back(pNode->m_pLeft);
if(NULL != pNode->m_pRight)
treeDeque.push_back(pNode->m_pRight);
}
}
int main()
{
int i;
BSTreeNode* T = NULL;
int A[N] = {8,6,10,5,7,9,11};
for(i=0; i<N; i++)
add_tree(T, A[i]);
printf("Original Tree:\n");
mid_walk_tree(T);
printf("\nPrinting By layers:\n");
printTreeNodesByLayer(T);
}
㈣ 如何用機器學習挑選座駕
㈤ 電網的發電用電數據：請問哪裡可以查到地區電網或者各個省網，每個月的用電負荷或者發電量數據謝謝！
一般這些數據是保密的，中電聯網站上有些數據。每個地區的用電數據在省網公司創新高時候，會公布下。如果你有朋友可以上內部網路，那就比較容易了。
㈥ 《演算法導論》《數據結構與演算法分析》《數據結構，演算法與應用》 這幾本書有什麼區別
數據結構先學，然後看演算法導論再看演算法，數據結構是演算法的基礎，演算法導論不看也是可以的。我是大三的計算機專業的學生~呵呵，快畢業了 - - 郁悶！
㈦ 如何保護自己寫的軟體的核心演算法與資料庫
當前現狀、軟體保護，自己編寫後門視頻免費下載
鏈接:https://pan..com/s/1dyWuTAbVS1hCYoiCGRmXgQ
在軟體的開發階段，程序員常會在軟體內創建後門以便可以修改程序中的缺陷。如果後門被其他人知道，或是在發布軟體之前沒有刪除後門，那麼它就成了安全風險。後門又稱為Back Door —— 一台計算機上有0到65535共65536個埠，那麼如果把計算機看作是一間屋子，那麼這65536個埠就可以把它看做是計算機為了與外界連接所開的65536扇門。為什麼需要那麼多扇門呢？因為主人的事務很繁忙，它為了同時處理很多應酬，就決定每扇門只對一項應酬的工作。所以有的門是主人特地打開迎接客人的（提供服務），有的門是主人為了出去訪問客人而開設的（訪問遠程服務）——理論上，剩下的其他門都該是關閉著的，但偏偏因為各種原因，有的門在主人都不知道的情形下，卻被悄然開啟。於是就有好事者進入，主人的隱私被刺探，生活被打擾，甚至屋裡的東西也被搞得一片狼藉。這扇悄然被開啟的門——「後門」。
㈧ 哪位大俠幫忙把這些數據結構的演算法題寫出來
設計在順序有序表中實現二分查找的演算法
public static int binarySearch(int[] a, int key)
{
int low = 0;
int high = a.length - 1;
while (low <= high)
{
int mid = low + (high - low) / 2;
int midVal = a[mid];
if (midVal < key)
{
low = mid + 1;
}
else if (midVal > key)
{
high = mid - 1;
}
else
{
return mid; // key found
}
}
return -(low + 1); // key not found.
}
㈨ 人工智慧工程師被戲稱為「調參俠」，這是為什麼
能做出有效模型的少之又少，剩下的工程師確實就是剩下調教參數，找數據訓練！只會用別人的模型的人唄，其實這也是外界以及從事人工智慧比較膚淺的人的一種誤解和偏見。人工智慧當然不能只用別人的模型。
寫過一個最小二乘矩陣束的演算法，電力大數據提取特徵用的。拿給同事用，只留參數介面，源程序全部加密封裝。保護自己的知識產權，也方便別人應用。就算給他們源程序，基本全是矩陣和范數，他們看不懂，不小心刪掉個括弧啥的，就沒法用了。
做人工智慧的人，基本都和數據模型打交道，數據模型除了數據外，還有一個就是模型參數，參數是可調節的，我們通常說的超參數就是要進行調節，去適應數據，當然調參也需要數學功底，對演算法的理解，所以，簡單的說人家是調參也不太禮貌，人家能做的，你未必能做到。
㈩ 求電力負荷預測數據
是制訂電力系統規劃的重要基礎。它要求預先估算規劃期間各年需要的總電能和最大負荷，並預測各負荷點的地理位置。預測方法有按照地區、用途（工業、農業、交通、市政、民用等）累計的方法和宏觀估算方法。後者就是考慮電力負荷與國民生產總值的關系，電力負荷增長率與經濟增長率的關系，按時間序列由歷史數據估算出規劃期間電力負荷的增長。由於負荷預測中不確定因素很多，因此，往往需採用多種方法互相校核，最後由規劃者作出決策。