存储研发工程
❶ 数据库开发工程师需要学习哪些课程
数据库开发工程师需要学习的课程有:
1、计算机导论
内容提要:为新学生提供一个关于计算机科学与技术学科的入门介绍,使他们对该学科有一个整体的认识,并了解该专业的学生应具有的基本知识和技能以及在该领域工作应有的职业道德与应遵守的法律准则。
2、数字电路与数字逻辑
内容提要:介绍数字逻辑与数字系统的基本概念、分析方法和设计原理,包括开关理论基础、组合逻辑、时序逻辑、可编程逻辑器件、数字系统等。
3、计算机组成原理与汇编语言
内容提要:以冯诺依曼计算机模型为出发点,介绍计算机的组织结构和工作原理,剖析计算机的运算器、存储器、控制器和输入输出设备的结构、工作原理和相互关系;介绍 80X86指令系统、汇编语言与汇编指令、汇编程序与汇编过程、简单汇编程序设计、汇编语言与高级语言的接口、宏汇编等。
4、计算机网络
内容提要:介绍数据通信的基本概念和计算机网络的基本原理,包括计算机网络的体系结构、数据通信的基本方法和协议、计算机网络的主要应用协议;同时介绍计算机网络系统的安全和管理知识,使学生对数据通信和计算机网络有一个全面理解。
5、计算机体系结构
内容提要:研究计算机系统结构的基本概念、基本原理、基本结构和基本分析方法,使同学在具有一定的软硬件知识基础上能综合认识计算机系统的软硬件功能分配与各种不同结构类型机器的特性和性能评价方法。为研究、开发、应用高级计算机系统打下基础。确立全面、系统的观点和学会定量分析问题的方法。
6、离散数学
内容提要:包括集合论、数理逻辑、图论、组合数学等内容,形式化的数学证明贯穿此课程。
7、高级程序设计语言
内容提要:分别以 C、C#或JAVA为例,介绍程序设计和语言,程序的基本数据结构、类型定义、简单类型和结构化类型、程序的基本控制结构、结构化程序设计、面向对象的程序设计等。
8、算法分析与设计
内容提要: 本课程延续数据结构课程的学习,从算法分析和设计的角度出发,除去传统的分类查找算法和一般的设计方法外,主要内容包括如下几个部分:算法研究的理论基础,递归分析技术,基本算法设计策略(几类经典算法学习), 多项式运算与 FFT ,串匹配,概率分析算法。 希望通过这一课程的学习,使学生能对现代的算法设计及分析的基本工具能有较全面的掌握。
9、数据结构
内容提要:介绍线性表及其链接存储结构与算法、数组与矩阵、堆栈与队列、广义表的存储结构与多元多项式表示、串与文本编辑、排序、树、图、文件结构。
10、数据库系统原理
内容提要:介绍数据库系统的基本概念、原理、方法及应用,主要包括数据库系统概论、数据库管理系统实现技术、数据库存储结构及其他类型的数据库系统。
11、编译技术
内容提要:介绍编译原理的理论和实践,包括编译程序设计、词法分析、语法分析、符号表、声明和存储管理、代码生成以及优化技术。
12、操作系统
内容提要:介绍操作系统的设计与实现,包括操作系统各组成部分的概述、互斥性和同步性、处理器实现、调度算法、存储算法、设备管理和文件系统。
❷ 华为天才少年主攻存储领域研究
自古英雄出少年。
本年度的华为天才少年项目再次引爆眼球。一位是从普通本科一路“逆袭”到华中科大博士,并成为唯一拿到本年度最高档年薪的青年才俊;另一位则是在多种A类期刊发表论文,集智慧与美丽于一身的美女博士。这两位成功入围项目的华中科大博士迅速成为街头巷议的热门话题。
值得关注的是,本年度入围的两位华为天才少年在校研究方向均跟数据存储有着紧密联系。因此,这二位不约而同地选择华为做存储相关的研究,让人不得不感叹华为存储对于基础研究与人才的重视。
事实上,从十八年前正式起步开始,华为存储一路发展始终与各大高校科研机构保持着紧密联系,高校科研机构不仅是华为存储人才重要的来源地,也是华为在存储基础领域联合创新的重要合作对象。如今,华为存储已经成长为全球Top 5、中国Top1级别的重要厂商, 在存储技术的产、学、研、用上逐步 探索 出一条价值闭环,真正让基础研究的创新成果加速走向落地,并利用市场成果不断反哺基础研究的创新 。
以本次入围天才少年项目的美女博士为例,其研究方向之一的非易失性存储器(NVM)、NVMe协议是当今存储产品中最为重要的技术趋势,而华为存储正是端到端NVMe全闪存当之无愧的领导者。华为存储的产、学、研、用价值闭环在端到端NVMe全闪存这个存储细分领域体现得淋漓尽致。
天下武功,唯快不破。
同样,在存储产品中,性能是衡量存储是否优秀的重要指标之一。在单位时间内IO越高、延迟越低,存储的性能就会越好,也意味着可以承载更多应用和更加及时响应业务请求,让用户体验更好。
NVMe正是存储领域一门关于快的武功。如果将为机械硬盘设计的SAS协议比喻为红绿灯多、卡口多的省市级公路;那么专为闪存而生的NMVe协议则是不限速的高速公路。初看NVMe可以让数据真正放飞自我,但是如何让NVMe这条数据高速公路修的更加合理、智能,让数据在高速公路上“不翻车”,则绝对需要常年修炼、不断打磨才能实现。
这是因为在数据中心这张数据网络中,IO路径涉及到服务器、存储、网络等多种设备,还有FC、IP、IB、PCIe、SAS等多种网络协议,经常面临数据传输路径过长、协议互相转化等挑战。因此,NVMe的落地往往“牵一发而动全身”,需要对整个数据中心数据传输网络进行规划和设计,仅仅是一两款NVMe SSD或者NVMe闪存控制器是远远不够的。
华为正是NVMe全闪存领域的顶尖高手,用“老司机”形容不为过。 作为存储行业SSD盘片级专利最多的厂商之一,华为对于NVMe协议进行了长期深入研究,在业界唯一端到端开发了NVMe SSD盘,NVMe 闪存控制器和NVMe全闪存操作系统,并且在业内率先实现了全系列端到端NVMe全闪存。
华为是如何做到这些的?让我们一探究竟。
华为之所以对于NVMe十分重视,是因为NVMe与闪存有着紧密联系,可谓是闪存性能潜能释放的关键所在。而华为早在2005年就开始对闪存进行研究,对于NVMe如何走向落地和价值如何实现有着深刻的洞察与实践。
2010年,NVMe最初作为一种硬盘接口协议诞生,充分释放出闪存性能。但要想真正释放数据中心包括计算、存储和网络的性能,NVMe作为硬盘接口协议是远远不够的。因此,NVMe经过多年发展,逐渐发展到存储网络领域,NVMe over RoCE技术孕育而生。
NVMe over RoCE(Non-Volatile Memory Express over Remote Direct Access Memory over Converged Ethernet)作为新一代高性能存储技术,将NVMe协议和网络领域中RDMA技术结合,它的出现真正让数据中心的数据高速公路成为一种统一的网络,拥有性能、组网便利性和方案成本等多种优势。但是它也存在着链路故障感知时长、网络实验稳定性、部署易用性等方面的挑战。
为此,华为集合全公司重量级产品线力量,从存储和网络两个方面对标准NVMe over RoCE方案进行增强,推出了NOF+增强方案。
具体到产品方面,华为是业内唯一端到端开发了NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统,率先实现全系列端到端NVMe全闪的厂商。
比如,华为去年推出的全新OceanStor存储Dorado系列,其性能高达2000万IOPS、极致时延达到0.05ms,各项指标远超市场上同类竞品。
在华为OceanStor存储Dorado系列全闪存中,同时提供32G FC-NVMe和NVMe Over 100G RDMA全IP组网设计,实现前端网络连接、后端硬盘框连接、scale-out的控制器互联均采用同一种网络协议;OceanStor存储Dorado系列全闪存还针对NVMe设计了一套IO调度机制,彻底取消原来IO路径上的盘级互斥锁,避免了IO下发时队列锁冲突,降低软件开销,实现最佳性能。
此外,华为OceanStor存储Dorado系列全闪存在操作系统层面针对NVMe进行了优化,智能芯片、FlashLink智能算法,充分发挥了多核优势,并且通过智能学习统计IO规律,提升读缓存命中率和缩短批处理时间,大幅提升了性能与效率。
为了让数据的高速公路更加稳定与可靠,华为OceanStor存储Dorado系列全闪存在组件层提供了充足的保障。
例如,为增加端口可靠性,华为自研SSD支持原生双端口技术,而不是采用内部Switch实现双端口的方式,端口独立、互不影响,为整个全闪存提供了牢固的硬件基础和可靠性;此外,华为通过PCI-E多年的技术积累,具备完善的PCI-E链路管理、异常处理、热插拔技术,支持SSD盘在任何时间、任何方式拔出,并提供端到端PCI-E系统可靠性,保障单盘更换或发生故障时不扩散。
针对大容量SSD使用容易造成数据丢失的情况,华为OceanStor存储Dorado系列全闪存采用创新的RAID-TP软件技术,基于Erasure Code算法,在3块盘同时失效的情况下能够容忍数据不丢失、业务不中断。华为成为业界唯三可以同时容忍3块盘失效的厂商,并且是三家厂商中唯一可以实现15分钟/TB 高效重构,重构速度领先其他两家厂商20倍。华为OceanStor存储Dorado系列全闪存还拥有诸如快照、克隆、远程复制等完备的数据保护技术。
当前, 华为通过十多年的技术积累,华为已经拥有1000多个NVMe全闪存成功案例,用户涵盖到金融、政府、制造、能源等多个领域。
例如,成立于1996年的南华期货,是全国期货公司Top 10,主要从事期货经纪、资产管理、证券投资等业务。南华期货在大交所、郑商所、深交所、嘉兴联通、香港PCCW等行业数据中心和电信运营商处租用VIP机房和机柜,就近部署交易系统。
这样做的目的只有一个:“快人一步”。南华期货的业务是典型的“时间就是金钱”,一点点时间差往往可能带来利润的大幅变动,这种交易型的业务决定了其对时延要求极低,通常需要小于1ms。南华期货通过部署华为OceanStor存储Dorado全闪存来承载综合交易平台,不仅稳定可靠,性能还提升3倍,为投资者提供了极佳的用户体验。
可以说,华为存储的“快人一步”让用户在业务中也“快人一步”。
十八年风雨兼程,华为存储如今已经成长为全球Top 5、中国Top 1级别的厂商,在全球布局了12个研发中心,拥有超过4000名研发工程师、800多项存储专利,服务了全球超过12000家涵盖各个行业的用户并且连续十九个季度位列中国市场第一,更是在全闪存领域连续多个季度实现全球增速第一。
在这十八年中,技术创新是华为存储的信仰,技术创新的脚步永不停止让华为在高端存储架构、NVMe、智能存储等多个领域不断实现突破,逐渐从市场的跟随者成长为业界当之无愧的技术领先者。去年,华为存储更是首次针对数据基础设施技术难题设置了“奥林帕斯奖”,鼓励和奖励全球在数据基础设施领域取得突破性贡献的科研工作者。
未来,随着更多华为天才少年以及其他人才的不断加入,华为存储有望在舞台中央施展更多精彩。