算法数据侠
㈠ 算法工程师应该具备哪些工程能力
作者 | 木东居士
来源 | Data_Engineering
最近看了 Milter 的《算法工程师究竟需要哪些工程能力》这篇文章，有所感想，因此也写一篇关于算法工程师的技术能力的问题，和大家分享一下居士关于算法工程师的技术能力的观点。
对于一名优秀的算法工程师，他（她）要具备的不仅仅是出色的技术能力，也要有很深的业务理解能力和对外沟通能力，总之，要求可以很高！
但是，从职责能力的划分上来讲，算法工程师首先是一名工程师，因此本文主要从工程能力要求上进行一些探讨。
开始之前先放一份思维导图，这将是这篇文章要分享的核心内容：
工程能力概览
算法工程师，从名字上我们就能看出，一名算法工程师首先应该具备算法能力和工程能力，我们可以认为这是基础的技术能力。由于现在开源技术的普及，Sklearn、Tensorflow 和 Spark ML 基本已经成为大部分算法工程师标配的工具库了，因此，熟练的调包能力也是决定了一名算法工程师能否快速实现需求。
其次，在真实的生产环境中，算法的落地会遇到各种各样的业务场景和数据环境，这也要求算法工程师需要具备Pipeline 构建能力，将整个生产环境中的数据流和模型打通。同时，在生产环境中，会出现各种“疑难杂症”等待你去解释，比如说为什么实验效果特别差？为什么模型效果不稳定？这就要要求算法工程师需要具备一定的数据分析能力。
很多时候，你会发现，你用在数据分析和Pipeline构建上的精力可能占据了你8成以上的工作内容。
当你具备了上面的能力时，你已经可以称自己是一名算法工程师了。此时，你可以去对着数据分析小得瑟一下：“你看，我能构建整个模型的Pipeline，你却只能拿到别人提供的数据后调调包吧。“或者，你也可以去找开发得瑟：”你看，我懂了很多算法哦，你就只会写代码吧。“
得瑟完之后，我们还是回归正题，算法工程师只具备这样能力是否已经够了？答案当然是不够的。由于不同公司的团队成熟度不同，工具化和流程的成熟度都不同，这就会对算法工程师有不同的要求，比如说模型发布能力和报表开发能力，当然也会有一些其它能力，虽然可能不是特别重要，但是当这些工作没人帮你做的时候，算法工程师可能依然要承担起这些工作内容，比如说灰度测试的能力、负载均衡的能力等等。
将上面的内容整理后，就是这样一份思维导图了（一张图多看几篇更能加深印象，因此我再贴出来一遍）
工程能力详解
一、基础能力
算法能力
算法能力就不多说了，算法工程师的基本能力要求，不懂算法对于一名算法工程师来讲是不太合理的。这里居士把统计学的内容也放进来了。
编程能力
编程能力主要分为两部分：
Python、C++、Java这类编程语言，这三种也是算法工程师需要了解的主流编程语言，一般掌握其一就够，看不同公司。 Sql就是很通用的能力了，Sql也是一门编程语言，而是是数据处理最常用的语言！ 很好用。 大数据场景下，要了解Hive Sql。调包能力
大家虽然会调侃调包侠，但是说实话，能调包调的很溜的人，也是不多的，比如说现在让你自己用tensorflow构建一个复杂网络，不能google，你能写出来吗？能记清楚用法吗？
Sklearn Tensorflow Spark ML二、核心能力
Pipeline 构建能力
Pipeline构建能力，这里想表达的更多的是整个数据流的构建能力，数据从日志->特征->模型训练->反馈，这一个链条能否完成的能力，这里面会有很多难题需要克服。比如说：
实时和离线模型一致性问题？ 离线和实时特征一致性问题？ 实时特征构建的问题？ 数据延迟的问题？很多时候，模型发布之类的工作是可以由其他同学支持完成，但是数据流这种问题更多的是需要算法工程师来解决的。
数据分析能力
这里的数据分析能力不是指商业分析或者业务分析，更多的是指特征分析、算法效果分析和各种异常问题定位分析的能力。
很多时候，两个算法工程师能力水平的强弱从数据分析能力上也能窥得一二。
三、辅助技术能力
辅助的技术能力是指，你会不会的影响不会特别大，但是也都是有用的能力，特别是不同公司的发展情况不同，很可能会出现一个算法工程师既要做数据接入、又要做数据清洗、还要做算法平台
也要搞前端、还要负责模型上线、系统运维。
这里就不再细讲了。
思考一
聊一下对技术能力、工程能力和数据分析的思考。
居士个人的理解，技术能力更多的是偏向于一个一个的技术点，而工程能力更多就是在一个团队中将项目做好的能力。很多算法出身的工程能力不行，那么他做的单纯的一个模型是无法应用到实际生产中的，而工程就是指把理论落地实际生产的过程。那么工程包含了什么？它包括了系统架构设计和模块设计、数据流搭建和平台搭建、调包或算法开发、分布式、上线以及各种落地的代码开发。报表和监控，其实本质也是做数据流，边缘性的可能要做些后台和前端的开发。
然后数据分析能力是什么？数据分析（不是纯粹的数据分析）除了分析方法论和套路外，是一个很综合性、相对偏软一点的能力，比如说你通过分析发现了我们的系统有哪些可以优化的点，通过分析发现了问题的原因是什么，这些都是分析能力。
思考二
针对前面的内容，和 Cathy 讨论后，对整个思路做了新的梳理，大家直接看图就好，居士也认为这样描述可能更为合理。
思考三
这里再补充一个模型复现的能力，比如你看了一篇论文，发现这个模型可能很适合自己的业务场景，那么你是否能力将论文里面的模型快速用公司现有的平台和工具来复现？
居士认为，这一个是一个非常重要的能力，但是没有想好具体该怎样划分。
㈡ 在哪些网站可以获取电网故障数据
之前微信上面关注了一个公重号叫“算法数据侠”，有分享的还蛮全的负荷预测、故障诊断、图像数据集，涵盖面很广，我经常用上面的数据做实验
㈢ 算法和数据结构设计
没有问题的，用c++编译。
第一个问题的答案：
#include <stdio.h>
#include <malloc.h>
#include <deque>
#include <iostream>
using namespace std;
static const int N=7;
struct BSTreeNode // a node in the binary search tree (BST)
{ int m_nValue; // value of node
BSTreeNode *m_pLeft; // left child of node
BSTreeNode *m_pRight; // right child of node
};
static int add_tree(BSTreeNode*& T,int num)
{
if(T==NULL)
{
T = (BSTreeNode*)malloc(sizeof(BSTreeNode));
if(NULL == T)
return -1;
T->m_nValue = num;
T->m_pLeft = NULL;
T->m_pRight = NULL;
}
else if(T->m_nValue > num)
return add_tree(T->m_pLeft, num);
else
return add_tree(T->m_pRight, num);
return 0;
}
static void mid_walk_tree(BSTreeNode* T)
{
if(T!=NULL)
{
mid_walk_tree(T->m_pLeft);
printf("%d\t",T->m_nValue);
mid_walk_tree(T->m_pRight);
}
}
void printTreeNodesByLayer(BSTreeNode* T)
{
if(NULL == T)
return;
deque<BSTreeNode*>treeDeque;
treeDeque.push_back(T);
while(treeDeque.size())
{
BSTreeNode* pNode = treeDeque.front();
printf("%d\t",pNode->m_nValue);
treeDeque.pop_front();
if(NULL != pNode->m_pLeft)
treeDeque.push_back(pNode->m_pLeft);
if(NULL != pNode->m_pRight)
treeDeque.push_back(pNode->m_pRight);
}
}
int main()
{
int i;
BSTreeNode* T = NULL;
int A[N] = {8,6,10,5,7,9,11};
for(i=0; i<N; i++)
add_tree(T, A[i]);
printf("Original Tree:\n");
mid_walk_tree(T);
printf("\nPrinting By layers:\n");
printTreeNodesByLayer(T);
}
㈣ 如何用机器学习挑选座驾
㈤ 电网的发电用电数据：请问哪里可以查到地区电网或者各个省网，每个月的用电负荷或者发电量数据谢谢！
一般这些数据是保密的，中电联网站上有些数据。每个地区的用电数据在省网公司创新高时候，会公布下。如果你有朋友可以上内部网络，那就比较容易了。
㈥ 《算法导论》《数据结构与算法分析》《数据结构，算法与应用》 这几本书有什么区别
数据结构先学，然后看算法导论再看算法，数据结构是算法的基础，算法导论不看也是可以的。我是大三的计算机专业的学生~呵呵，快毕业了 - - 郁闷！
㈦ 如何保护自己写的软件的核心算法与数据库
当前现状、软件保护，自己编写后门视频免费下载
链接:https://pan..com/s/1dyWuTAbVS1hCYoiCGRmXgQ
在软件的开发阶段，程序员常会在软件内创建后门以便可以修改程序中的缺陷。如果后门被其他人知道，或是在发布软件之前没有删除后门，那么它就成了安全风险。后门又称为Back Door —— 一台计算机上有0到65535共65536个端口，那么如果把计算机看作是一间屋子，那么这65536个端口就可以把它看做是计算机为了与外界连接所开的65536扇门。为什么需要那么多扇门呢？因为主人的事务很繁忙，它为了同时处理很多应酬，就决定每扇门只对一项应酬的工作。所以有的门是主人特地打开迎接客人的（提供服务），有的门是主人为了出去访问客人而开设的（访问远程服务）——理论上，剩下的其他门都该是关闭着的，但偏偏因为各种原因，有的门在主人都不知道的情形下，却被悄然开启。于是就有好事者进入，主人的隐私被刺探，生活被打扰，甚至屋里的东西也被搞得一片狼藉。这扇悄然被开启的门——“后门”。
㈧ 哪位大侠帮忙把这些数据结构的算法题写出来
设计在顺序有序表中实现二分查找的算法
public static int binarySearch(int[] a, int key)
{
int low = 0;
int high = a.length - 1;
while (low <= high)
{
int mid = low + (high - low) / 2;
int midVal = a[mid];
if (midVal < key)
{
low = mid + 1;
}
else if (midVal > key)
{
high = mid - 1;
}
else
{
return mid; // key found
}
}
return -(low + 1); // key not found.
}
㈨ 人工智能工程师被戏称为“调参侠”，这是为什么
能做出有效模型的少之又少，剩下的工程师确实就是剩下调教参数，找数据训练！只会用别人的模型的人呗，其实这也是外界以及从事人工智能比较肤浅的人的一种误解和偏见。人工智能当然不能只用别人的模型。
写过一个最小二乘矩阵束的算法，电力大数据提取特征用的。拿给同事用，只留参数接口，源程序全部加密封装。保护自己的知识产权，也方便别人应用。就算给他们源程序，基本全是矩阵和范数，他们看不懂，不小心删掉个括号啥的，就没法用了。
做人工智能的人，基本都和数据模型打交道，数据模型除了数据外，还有一个就是模型参数，参数是可调节的，我们通常说的超参数就是要进行调节，去适应数据，当然调参也需要数学功底，对算法的理解，所以，简单的说人家是调参也不太礼貌，人家能做的，你未必能做到。
㈩ 求电力负荷预测数据
是制订电力系统规划的重要基础。它要求预先估算规划期间各年需要的总电能和最大负荷，并预测各负荷点的地理位置。预测方法有按照地区、用途（工业、农业、交通、市政、民用等）累计的方法和宏观估算方法。后者就是考虑电力负荷与国民生产总值的关系，电力负荷增长率与经济增长率的关系，按时间序列由历史数据估算出规划期间电力负荷的增长。由于负荷预测中不确定因素很多，因此，往往需采用多种方法互相校核，最后由规划者作出决策。