工程师算法
① 作为一名算法工程师,你觉得最重要的能力是什么
本文列举了算法工程师需要掌握的能力,听我一一道来,至于哪个更重要,文末我会给出一些个人建议。
软件工程能力
虽然说算法工程师日常工作是实验多,代码少,软件工程能力要求不及大型软件的工程师。但做算法工程师可不是每天在jupyter notebook做完实验就完事的,你的代码最终需要融入到产品里,所以代码必须规范。算法工程师本质上,还是工程师。所以软件工程能力是必不可少的。不要求说达到特别高的工程造诣,但基本的代码规范,合理的模块设计,以及对模块进行单元测试的能力,我认为是必不可少的。
商业逻辑洞察力
有的项目是to C,有的是to B。不同的项目有着不同的商业逻辑。例如检测信贷风险,你不可能直接堆砌几个模型就能得到好的结果。但作为算法工程师,商业逻辑上肯定是不可能比客户理解透彻的。你需要多点和客户沟通。例如我做信贷风险检测,我需要知道他们的数据是如何产生,产生的频率是啥,从而我可以判断某些字段做aggregation时是应该用avg,sum,还是max比较合理。除此之外,理解一些商业逻辑有助于构建非常有效的特征。我们知道一个人月收入越高还债能力越强,但也知道负债越多违约风险也越大,而一个高收入的人贷款的额度也会大,这就产生了矛盾。而通过了解商业逻辑,学到一个指标叫debt burden ratio后,你就可以构建一个特征,用客户的收入除以客户的负债,就可以计算出一个更有效检测风险的特征。虽然我们知道深度学习网络有自动构建特征的能力,毕竟GIGO(garbage in garbage out),数据未处理前,对模型来说就是garbage。不要觉得这种要靠人思考来构建特征的方法很原始,毕竟人工智能,先有人工后有智能。
除了和客户沟通外,团队内部头脑风暴下,也是一种激发想法的好方法。
文献检索能力
这个能力其实对任何智力输出的职业来说都很重要。我们都需要保持大脑时刻更新。在算法上,关注最新文献,关注SotA(state of the art)的算法,关注工业实践的新动态。
同时在相关商业上,了解你的算法所服务的行业,了解他们的运作。如果你是做手机图片AI的,可以查找手机处理器的发展的资料,目前主流的手机能有多少计算能力;如果你是做金融服务,则关注金融市场相关产品的新闻,了解最新居民收入消费水平,不然你的算法预测不准时,你没有相关商业知识,就难以找出哪个特征过时了。
总结汇报能力
这个能力其实对任何职业来说都很重要。即使你是清洁工,你也要汇报工作。对内,要会把自己的成果反馈给领导;直接上级一般也是工程师,可以用工程化的语言来汇报成果,比如模型的recall是多少,AUC是多少等。也可能对非技术的同事汇报,比如销售,就要更多的把汇报关注在商业价值,例如“上线一个月为客户减少了20%的运营成本,营收增加40%”。如果你是做to B业务,经常要对客户汇报。你的模型开发后,在测试集上的结果是多少,预计上线后能为客户创造多少价值等。
心理素质
算法工程师毕竟日常很多时间都花在试验上,试验失败是兵家常事。所以一定要学会开导自己,即使你的模型一周都没提升,也要给自己信心。
同时,由于这个工作性质会接触到不同技术背景的人,所以有时候你会觉得简单的一个概念,对方却问了好几次都没懂,你就可能不耐烦。这时请沉住气,保持耐心沟通,不妨多换几个角度,帮助对方理解,毕竟对方理解了,也许还能给你一些意想不到的建议。
至于哪个能力更重要?这得看你个人职业规划。
· 如果你未来想成为亿万商业和顶尖技术直接的那个纽带,带领团队开发具有市场价值的产品。你需要增强自己的逻辑逻辑洞察力;
· 如果你想成为AI系统架构师,可以增强自己的软件工程能力。
· 如果你想成为资深研究员,可以增强自己的文献查找能力,并尝试在平台(大学或公司)的帮助下发表论文。
去吧,根据自己对未来畅想,增强自己某一方面的能力吧。
② 算法工程师是青春饭吗以后的发展路线是怎样的
算法工程师不是青春饭。
在入职的年龄中,算法工程师的入职年份越多,就有越多的公司要你。由于算法工程师对于知识结构的要求比较丰富,同时算法工程师岗位主要以研发为主,需要从业者具备一定的创新能力,所以要想从事算法工程师岗位往往需要读一下研究生,目前不少大型科技企业对于算法工程师的相关岗位也有一定的学历要求。
提到人工智能,就不得不提人工智能领域最炙手可热的算法工程师。算法即一系列解决问题的清晰指令,算法工程师就是利用算法处理事物的人。算法工程师主要根据业务进行细分,常见的有广告算法工程师、推荐算法工程师、图像算法工程师等等。
但作为热门领域和人才供不应求的人工智能,开出的薪资依旧让人羡慕眼红。猎头Jony表示“人工智能科班出身的博士,50万年薪仅仅是起步价,优秀的开到80万、100万都不一定能抢到。”
③ 算法工程师工作期间需要掌握什么知识学到哪些核心技术
算法工程师的主要核心技术基于数学,并辅以语言。要全面掌握的知识包括高级数学,复变函数,线性代数的离散数学,数据结构以及数据挖掘所需的概率论和数学统计知识。不要太受约束去平时阅读教科书并多练习,并培养良好的思维能力。只有那些有想法的人才能拥有技术的未来。尝试实现您遇到的任何算法,无论算法的优劣总是有其自身的特征。此外,您必须具有一定的英语水平(至少6级),因为该领域的大多数官方材料都是外语。
计算机及相关专业本科以上学历,在互联网搜索,推荐,流量或相关领域有2年以上工作经验。熟悉机器学习/自然语言处理/数据挖掘/深度学习中至少一项的原理和算法,并且能够熟练地建模和解决业务问题。精通Linux平台下的C / C ++ / Java语言开发,精通使用gcc / gdb等开发工具,并精通Python / Linux Shell / SQL等脚本开发。熟悉hadoop / hbase / storm等分布式计算技术,并熟悉其运行机制和体系结构。具有出色的分析和解决问题的能力,思路清晰,并对工作挑战充满热情。具有强烈的工作责任感和团队合作精神,并能够交流和更好地学习。
④ 算法工程师应该具备哪些工程能力
作者 | 木东居士
来源 | Data_Engineering
最近看了 Milter 的《算法工程师究竟需要哪些工程能力》这篇文章,有所感想,因此也写一篇关于算法工程师的技术能力的问题,和大家分享一下居士关于算法工程师的技术能力的观点。
对于一名优秀的算法工程师,他(她)要具备的不仅仅是出色的技术能力,也要有很深的业务理解能力和对外沟通能力,总之,要求可以很高!
但是,从职责能力的划分上来讲,算法工程师首先是一名工程师,因此本文主要从工程能力要求上进行一些探讨。
开始之前先放一份思维导图,这将是这篇文章要分享的核心内容:
工程能力概览
算法工程师,从名字上我们就能看出,一名算法工程师首先应该具备算法能力和工程能力,我们可以认为这是基础的技术能力。由于现在开源技术的普及,Sklearn、Tensorflow 和 Spark ML 基本已经成为大部分算法工程师标配的工具库了,因此,熟练的调包能力也是决定了一名算法工程师能否快速实现需求。
其次,在真实的生产环境中,算法的落地会遇到各种各样的业务场景和数据环境,这也要求算法工程师需要具备Pipeline 构建能力,将整个生产环境中的数据流和模型打通。同时,在生产环境中,会出现各种“疑难杂症”等待你去解释,比如说为什么实验效果特别差?为什么模型效果不稳定?这就要要求算法工程师需要具备一定的数据分析能力。
很多时候,你会发现,你用在数据分析和Pipeline构建上的精力可能占据了你8成以上的工作内容。
当你具备了上面的能力时,你已经可以称自己是一名算法工程师了。此时,你可以去对着数据分析小得瑟一下:“你看,我能构建整个模型的Pipeline,你却只能拿到别人提供的数据后调调包吧。“或者,你也可以去找开发得瑟:”你看,我懂了很多算法哦,你就只会写代码吧。“
得瑟完之后,我们还是回归正题,算法工程师只具备这样能力是否已经够了?答案当然是不够的。由于不同公司的团队成熟度不同,工具化和流程的成熟度都不同,这就会对算法工程师有不同的要求,比如说模型发布能力和报表开发能力,当然也会有一些其它能力,虽然可能不是特别重要,但是当这些工作没人帮你做的时候,算法工程师可能依然要承担起这些工作内容,比如说灰度测试的能力、负载均衡的能力等等。
将上面的内容整理后,就是这样一份思维导图了(一张图多看几篇更能加深印象,因此我再贴出来一遍)
工程能力详解
一、基础能力
算法能力
算法能力就不多说了,算法工程师的基本能力要求,不懂算法对于一名算法工程师来讲是不太合理的。这里居士把统计学的内容也放进来了。
编程能力
编程能力主要分为两部分:
Python、C++、Java这类编程语言,这三种也是算法工程师需要了解的主流编程语言,一般掌握其一就够,看不同公司。 Sql就是很通用的能力了,Sql也是一门编程语言,而是是数据处理最常用的语言! 很好用。 大数据场景下,要了解Hive Sql。调包能力
大家虽然会调侃调包侠,但是说实话,能调包调的很溜的人,也是不多的,比如说现在让你自己用tensorflow构建一个复杂网络,不能google,你能写出来吗?能记清楚用法吗?
Sklearn Tensorflow Spark ML二、核心能力
Pipeline 构建能力
Pipeline构建能力,这里想表达的更多的是整个数据流的构建能力,数据从日志->特征->模型训练->反馈,这一个链条能否完成的能力,这里面会有很多难题需要克服。比如说:
实时和离线模型一致性问题? 离线和实时特征一致性问题? 实时特征构建的问题? 数据延迟的问题?很多时候,模型发布之类的工作是可以由其他同学支持完成,但是数据流这种问题更多的是需要算法工程师来解决的。
数据分析能力
这里的数据分析能力不是指商业分析或者业务分析,更多的是指特征分析、算法效果分析和各种异常问题定位分析的能力。
很多时候,两个算法工程师能力水平的强弱从数据分析能力上也能窥得一二。
三、辅助技术能力
辅助的技术能力是指,你会不会的影响不会特别大,但是也都是有用的能力,特别是不同公司的发展情况不同,很可能会出现一个算法工程师既要做数据接入、又要做数据清洗、还要做算法平台
也要搞前端、还要负责模型上线、系统运维。
这里就不再细讲了。
思考一
聊一下对技术能力、工程能力和数据分析的思考。
居士个人的理解,技术能力更多的是偏向于一个一个的技术点,而工程能力更多就是在一个团队中将项目做好的能力。很多算法出身的工程能力不行,那么他做的单纯的一个模型是无法应用到实际生产中的,而工程就是指把理论落地实际生产的过程。那么工程包含了什么?它包括了系统架构设计和模块设计、数据流搭建和平台搭建、调包或算法开发、分布式、上线以及各种落地的代码开发。报表和监控,其实本质也是做数据流,边缘性的可能要做些后台和前端的开发。
然后数据分析能力是什么?数据分析(不是纯粹的数据分析)除了分析方法论和套路外,是一个很综合性、相对偏软一点的能力,比如说你通过分析发现了我们的系统有哪些可以优化的点,通过分析发现了问题的原因是什么,这些都是分析能力。
思考二
针对前面的内容,和 Cathy 讨论后,对整个思路做了新的梳理,大家直接看图就好,居士也认为这样描述可能更为合理。
思考三
这里再补充一个模型复现的能力,比如你看了一篇论文,发现这个模型可能很适合自己的业务场景,那么你是否能力将论文里面的模型快速用公司现有的平台和工具来复现?
居士认为,这一个是一个非常重要的能力,但是没有想好具体该怎样划分。
⑤ 数据算法工程师主要是做什么的
只有数据科学家和算法工程师,数据科学家关注于用算法研究数据背后的信息,算法工程师负责将科学家研发的算法应用到实际生产活动中
算法工程师就是会一些人工智能算法的工程师。工作就是做一些人工智能算法相关的任务:根据任务整理数据(如果没有数据最好可以协助建立获取数据的流程)跑模型,改进模型部署模型,测试,优化速度等等其实AI行业比较欠缺好的产品经理,算法工程师在需求设计和沟通上最好也能参合参合,都是有益的。
想了解数据算法工程师这个职业可以到CDA认证中心去了解一下,CDA认证,致力于打造全球数据人才考核行业标准,推动全球数人才发展。包括开发和整合国际数据科学领域的前沿技术及优质资源; 制定并完善数据科学行业人才标准与职业道德行为准则;编写和建立专业教材体系与题库;组织并实施命题审题、人才评定和考试服务;管理会员与提供行业咨询服务等事务。
⑥ 算法工程师、研发工程师、软件工程师都是什么
解释如下:
1、算法工程师就是利用算法处理事物的人,根据研究领域来分主要有音频/视频算法处理、图像技术方面的二维信息算法处理和通信物理层、雷达信号处理、生物医学信号处理等领域的一维信息算法处理,且逐渐往人工智能方向发展。
2、研发工程师是指从事某种行业,对某种不存在的事物进行系统的研究和开发并具有一定经验的专业工作者,或者对已经存在的事物进行改进以达到优化目的的专业工作者。要求具备强烈的好奇心,喜欢新生事物,以钻研为乐趣。
3、软件工程师是从事软件职业的人员的一种职业能力的认证,通过它说明具备了工程师的资格。软件工程师是从事软件开发相关工作的人员的统称。它是一个广义的概念,包括软件设计人员、软件架构人员、软件工程管理人员、程序员等一系列岗位,工作内容都与软件开发生产相关。
(6)工程师算法扩展阅读
1、算法工程师要求:
专业要求:计算机、电子、通信、数学等相关专业;
学历要求:本科及其以上的学历,大多数是硕士学历及其以上;
语言要求:英语要求是熟练,基本上能阅读国外专业书刊;
能力要求:熟练掌握计算机相关知识,熟练使用仿真工具MATLAB等,至少会一门编程语言。
2、研发工程师要求:
教育培训: 电器设计或机械制造专业大专以上学历。
工作经验: 3年以上电器行业工作经验;熟悉模具类产品加工、生产过程;熟练使用CAD、proE、Photoshop 及办公软件。
3、软件工程师要求(.NET方面的开发):
技能要求:熟悉.net开发体系,熟悉C#ASP.NET;熟悉SQLServer,Oracle数据库开发
工作经验:要求至少3年开发经验,具有企业管理系统项目经验,了解企业ERP及财务管理软件(用友,金蝶)者优先。
能力要求:善于沟通,能独立撰写方案。为人诚实,善于学习,做事认真负责,积极主动,具有敬业精神,有团队精神
⑦ 成为一名合格的算法工程师需要掌握哪些技能
算法工程师目前是一个高端也是相对紧缺的职位;近两年的就业前景是非常好的,薪资也比较高。但是算法工程师同时也需要不断学习。那么成为一名合格的算法工程师需要掌握哪些岗位技能呢,我们接着往下看。
业务学习能力
算法工程师是不可能脱离业务背景的,人工智能算法工程师、交通算法工程师、图像处理算法工程师等等。
针对一个业务场景设计一个合理的算法,业务知识是非常重要的,需要结合业务的实际情况、限定条件、各种专业词汇和知识都要有一定的了解,如果脱离场景而一味地琢磨算法,效果不会太好。
比如,做交通算法,需要对交通组织、交通管理、通行损失、周期延误等有所认知。比如,做图像处理,需要对各种图像去噪、图像增广、图像分割、物理成像有所了解,知道像素底层是怎么回事。
持续学习能力
算法工程师的主要工作就是拿着现有成熟的算法,结合面临业务场景去做一个合理的方案,如果我们知识面太窄,那显然当用到的时候会有点拮据,眼界也被限制住,不知道还有没有更好效果的算法、目前算法有哪些不足之处、在这个业务中能不能发挥作用。
只有持续学习,了解足够多的知识,当我们面临问题的时候能够快速对比、选择,找出最合适的一种算法。
灵活的思维
当我们选择一种算法去解决一个问题时,效果肯定无法达到我们预期的那样。比如我们拿mask rcnn做医学图像语义分割,我们看着它在自然图像方面表现效果很好,就拿来用于医学图像。但是医学图像有它的难点和特殊性,当跑出效果时会发现结果不如人意,这时候就需要灵活的思维去发现问题,去调优、改进,或者从数据入手,或者从网络模型入手,或者从超参数入手。
编程能力
不同公司对于算法工程师的定位有所差别,比如有些朋友在某公司做算法工程师只负责方案的设计,开发由专门的开发人员实施。有的公司算法工程师要完成算法设计到开发全部工作。
无论是哪一种形式,编程能力都是必要的,就算是前者这样的形式,有专门的开发人员,那在算法的设计过程中需要验证、对比,对每一个小模块算法进行指标评价,你不可能事事都找别人来帮你做,这样效率低,而且开展工作困难。综上所述,就是小编今天整理的关于算法工程师的相关内容,希望可以帮助到大家。
⑧ 如何成为一名合格的算法工程师
BAT企业的算法工程师是这样工作的:问题抽象、数据采集和处理、特征工程、建模训练调优、模型评估、上线部署。(具体操作可以看阿里算法专家chris老师的算法工作流视频算法工作流是怎样的?)而一个算法工程师真正值钱的地方在于问题抽象和上线部署这两个。