ceph源码安装
㈠ 国内有哪些软件定义存储厂商
华为云、深圳元核云等。
㈡ Kubernetes如何入门
一、初级
1.了解Kubernetes 基础架构与核心组件功能
2.了解Docker基本概念和用法
3.理解Docker与Kubernetes的基本关系
4.能够安装、部署与配置 Kubernetes 集群
5.熟练使用 kubectl 命令操作各种 Kubernetes 资源对象，了解基本概念和使用方法
6.能够在 Kubernetes 上部署、运行、管理工作负载并了解其调度算法
7.能够使用 Service、Ingress 等访问工作负载
8.深入理解Pod相关的配置及使用
9.了解Kubernetes生态相关工具及其作用
二、中级
1.理解Kubernetes的资源管理，资源分配、优先级、QoS等
2.能够使用 Flannel、Calico、Macvlan 等常用 CNI 插件配置集群网络
3.能够排查 Kubernetes 集群系统组件、网络、日志、监控告警与存储的故障
4.能够使用 EFK 搭建容器日志系统
5.能够使用 Prometheus、AlertManager 等搭建容器监控告警系统
6.能够配置应用使用持久性存储并了解 Ceph、NFS、GlusterFS 等常见存储工作原理
7.应用生命周期管理
8.理解Kubernetes容器调度的基本流程和使用方法
9.Kubernetes集群日常维护
10.理解并使用Kubernetes的用户认证及授权体系（RBAC）
11.理解弹性伸缩（HPA）的基本原理
三、高级
1.理解Kubernets核心组件的工作原理，并能够进行问题定位及提供解决方案
2.掌握Kubernetes的admission 控制器，audit，镜像gc，Pod驱赶行为等相关工作原理
3.可以扩展和定制Kubernetes调度器
4.能够用 Operator/CRD 对 Kubernetes 作定制化开发
5.理解 Kubernetes 多可用区/多集群管理模式
6.灵活掌握Kubernetes的扩展机制，可以按需定制，包括CNI、CSI、Ingress、自定义控制器等扩展定制
7.可以解决日志、监控等核心组件的问题定位以及进行性能调优
四、专家
1.能够对 Kubernetes 集群、操作系统、镜像、应用做安全加固
2.能够排查 linux 内核、Docker 容器运行时故障
3.能够基于 Kubernetes、Jenkins等工具构建云原生DevOps方案
4.理解Kubernetes生态主要工具的作用及优缺点，可以在不同场景下灵活运用相关工具并确定最佳实施方案
5.具备对大规模集群支持的相关经验，包括架构设计、性能调优等稳定性保障
6.理解Kubernetes社区运作模式，能够为社区提供PR
7.理解Kubernetes各组件源代码，并能排查、分析相关问题
作为国内领先的全栈云原生技术服务提供商，时速云特别推出了Kubernetes培训课程，对于刚接触Kubernetes技术、企业计划使用容器及Kubernetes集群、以及计划考取CKA证书的人群会是一个不错的选择。
Google提供的Android包含了原始Android的目标机代码，主机编译工具、仿真环境，下载的代码包经过解压后(这里是Android2.2的源码包)，源代码的第一层目录结构如下：-- Makefile-- bionic （bionic C库）-- bootable
㈣ 大数据分析需要哪些工具
稍微整理了下常用到的大数据分析工具，看下能不能帮到你
1.专业的大数据分析工具
2.各种Python数据可视化第三方库
3.其它语言的数据可视化框架
一、专业的大数据分析工具
1、FineReport
FineReport是一款纯java编写的、集数据展示(报表)和数据录入(表单)功能于一身的企业级web报表工具，只需要简单的拖拽操作便可以设计复杂的中国式报表，搭建数据决策分析系统。
2、FineBI
FineBI是新一代自助大数据分析的商业智能产品，提供了从数据准备、自助数据处理、数据分析与挖掘、数据可视化于一体的完整解决方案，也是我比较推崇的可视化工具之一。
FineBI的使用感同Tableau类似，都主张可视化的探索性分析，有点像加强版的数据透视表。上手简单，可视化库丰富。可以充当数据报表的门户，也可以充当各业务分析的平台。
二、Python的数据可视化第三方库
Python正慢慢地成为数据分析、数据挖掘领域的主流语言之一。在Python的生态里，很多开发者们提供了非常丰富的、用于各种场景的数据可视化第三方库。这些第三方库可以让我们结合Python语言绘制出漂亮的图表。
1、pyecharts
Echarts(下面会提到)是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。当Python遇上了Echarts，pyecharts便诞生了，它是由chenjiandongx等一群开发者维护的Echarts Python接口，让我们可以通过Python语言绘制出各种Echarts图表。
2、Bokeh
Bokeh是一款基于Python的交互式数据可视化工具，它提供了优雅简洁的方法来绘制各种各样的图形，可以高性能地可视化大型数据集以及流数据，帮助我们制作交互式图表、可视化仪表板等。
三、其他数据可视化工具
1、Echarts
前面说过了，Echarts是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。
大家都知道去年春节以及近期央视大规划报道的网络大数据产品，如网络迁徙、网络司南、网络大数据预测等等，这些产品的数据可视化均是通过ECharts来实现的。
2、D3
D3（Data Driven Documents）是支持SVG渲染的另一种JavaScript库。但是D3能够提供大量线性图和条形图之外的复杂图表样式，例如Voronoi图、树形图、圆形集群和单词云等。
㈤ 为什么使用ceph的源码编译出来的rpm包太大
db2 connect to trepdb username report using password db2 "import from /路径/filename.txt of del insert into tablename "
㈥ 黑马程序员Linux运维培训怎么样
1、什么是运维工程师？
运维工程师，服务器与系统安全稳定的掌舵者！当一个产品（如Web网站、APP软件、网络游戏等）正式上线后，产品、开发、测试类的工作就正式结束了，接下来的维护和管理工作就会全部移交给运维工程师。
运维工程师的主要工作职责就是负责服务器的架构设计以及云计算平台管理，保障软件的稳定运行。没有开发以及测试类工作复杂且工作解决方案相对固定。更重要的是没有年龄以及学历的限制，随着工作年限和工作经验地增长，也会越老越吃香。
2、运维工程师工作场景
运维学科2019全年所有班级就业率93.5%，平均薪资8.7k起，最高薪资25k* 14薪
三、运维课程
1、第一阶段：Linux运维基础功
运维基础：运维发展史、计算机概述、计算机组成、操作系统学完此阶段可掌握的核心能力：熟练掌握Linux操作系统的安装(CentOS7.6)、配置、基础命令、VIM编辑器、用户管理、权限管理、自有服务、进程检测与控制、阿里云平台管理、开源CMS项目上线部署实战。
Linux操作系统：Linux系统概述、虚拟机、CentOS7.6系统安装，Linux基础命令
Linux下文件管理（上）：文件命名规则、目录管理、文件管理、文件复制与剪切、重命名、Linux文件打包与压缩、文件处理命令
Linux下文件管理（下）：VIM编辑器介绍、VI与VIM的区别、VIM安装与配置、四种工作模式（命令模式，编辑模式，末行模式，可视化模式）、相关VIM指令、VIM扩展功能、VIM总结
Linux下用户管理：用户和组的相关概念、用户组管理、用户管理、用户密码设置、切换用户、Linux用户管理实战
Linux下权限管理：权限的基本概念、权限在生产环境中的作用、Linux权限类别（rwx）、Linux文件所有者类别（ugo）、普通权限设置（字母+数字）、文件属主与属组设置、高级权限、ACL权限控制、umask
Linux下自有服务+软件包管理：自由服务概述、systemctl管理服务命令、ntp时间同步服务、firewalld防火墙、crond计划任务、设备挂载与解挂、rpm包管理工具
Linux进程检测与控制：进程与程序的概念、进程管理命令（top命令，free命令，df命令，ps命令，netstat命令，kill命令与killall命令）、进程优先级设置
阿里云平台管理与开发CMS项目上线部署实战：云计算平台概述、阿里云平台注册、登录与管理、项目背景、LAMP环境概述、YUM指令、LAMP环境搭建、开源CMS项目上线部署实战
学完此阶段可解决的现实问题：能够根据企业实际项目需求实现服务器部署与架构。
学完此阶段可拥有的市场价值：熟练掌握之后，可以满足市场对初级运维工程师的需求，但是市场就业工资相对较低，还是建议继续学习就业班课程。
2、第二阶段：Linux系统服务篇
Linux高级指令：基础命令回顾、find命令之高级搜索、tree命令、scp文件上传与下载、计划任务crontab + tar实现定时备份、用户管理高级、文件权限管理高级
Linux下软件包管理：软件包管理任务背景、Linux下软件包概述、RPM包管理工具、YUM包管理工具、YUM源配置（公网YUM源，本地YUM源、自建YUM源仓库）、源码安装概述、源码安装三步走、源码安装实战
Linux远程管理服务SSH：SSH任务背景、SSH服务概述，yum源配置，SSH服务安装与配置实战，公私钥概念，SSH免密码登录
Linux数据同步RSYNC：RSYNC任务背景、RSYNC介绍、RSYNC基本语法、本机同步与远程同步、把RSYNC作为系统服务、RSYNC结合INOTIFY实现实时同步、RSYNC托管XINETD
Linux下文件共享服务ftp、NFS、SAMBA：文件共享任务背景、FTP服务介绍、FTP工作模式（主动模式+被动模式）、FTP服务搭建、客户端工具（ftp、lftp使用）、FTP访问控制、NFS服务介绍、NFS服务搭建、配置文件详解、NFS任务背景及解决方案、SAMBA服务介绍、SAMBA服务搭建、配置文件详解、文件共享服务总结
DNS域名管理服务：DNS服务介绍、DNS的作用、DNS服务搭建、正向解析、反向解析、多域搭建、NTP时间服务器、主从DNS架构
源码构建LAMP环境及部署业务应用：LAMP任务背景、Web服务器环境准备、软件编译回顾、编译安装MySQL、编译安装Apache、编译安装PHP、后期配置、Web应用系统部署实战
Linux下日志管理服务RSYSLOG：日志管理任务背景、查看日志、日志管理服务（RSYSLOG概述，日志列表，日志级别，相关符号，配置文件）、RSYSLOG本地日志管理、RSYSLOG远程日志管理、日志管理应用实践
Linux 磁盘管理：磁盘管理任务背景、磁盘管理概述、fdisk命令详解、Linux分区概述、Linux分区实战、逻辑卷介绍、逻辑卷基本概念（PV、VG、PE、LV）、逻辑卷LVM应用操作实战、RAID介绍、RAID常见级别、软硬RAID、软RAID应用实践
Shell脚本编程：Shell概述、变量、Shell流程控制、Shell数组、Shell函数、Shell特殊用法、正则表达式、Shell编程实战
数据库DBA：MySQL概述，MySQL5.7安装，MySQL配置，MySQL基本操作、SQL语句详解、MySQL索引、MySQL备份与还原、MySQL主从复制、MHA高可用架构、MySQL企业级应用实战
学完此阶段课掌握的核心能力：
1、了解Linux系统运行原理，实现Linux服务器的维护与管理；
2、了解Linux系统相关服务，能根据企业需求实现企业运维工作。
学完此阶段可解决的现实问题：能实现企业Linux服务器的日常维护与管理，搭建SSH、文件共享、DNS、Apache等服务、能独立完成系统日志分析、Shell脚本编程、数据库DBA等相关工作。
学完此阶段可拥有的市场价值：熟练学习和掌握后，可满足企业运维的初中级需求。
3、第三阶段：千万级商城系统架构设计
源码构建企业级LNMP架构及电商系统上线部署：千万级商城系统架构设计任务背景、Web项目开发流程、Linux服务器环境准备、LNMP环境概述、MySQL数据库服务搭建、Nginx软件服务搭建、PHP软件服务搭建、Web商城项目部署上线
大型WEB服务软件Nginx部署介绍使用：Nginx软件概述、Nginx平滑升级、nginx.conf配置文件详解、虚拟主机配置、Nginx默认官方模块详解（GZIP压缩，客户端缓存，反向代理，基于IP/用户的访问控制，目录显示）、日志管理、日志轮转、第三方日志管理软件GoAccess、Location区块、URL重写、第三方模块安装与配置、Nginx安全管理、Nginx其他衍生版本（Tengine，OpenResty）
WEB高可用集群架构设计及实现（keepalived）：WEB高可用集群架构设计任务背景、单点数据库迁移、HA高可用集群概述、Keepalived软件介绍、Keepalived组成和原理、VRRP协议、安装与配置Keepalived、Nginx服务高可用实践、Keepalived扩展内容（非抢占模式、VIP脑裂、单播模式）
WEB负载均衡服务器集群架构设计及实现LB(Nginx/LVS/HAProxy)：WEB负载均衡服务器集群架构设计任务背景、为什么需要LB负载均衡技术、LB负载均衡架构图、负载均衡分类、常见负载均衡实现方式、LB负载均衡环境准备、Nginx负载均衡实现、负载均衡算法、Session共享解决方案、高可用负载实践; LVS概述、LVS工作原理、LVS核心组件、LVS三种工作模式（NAT模式、DR模式、TUN隧道模式）、LVS/NAT原理和特点、LVS/DR原理和特点、LVS/TUN原理和特点、LVS的十种调度算法、LVS/NAT模式部署实践、LVS/DR模式部署实践; HAProxy概述、HAProxy安装与部署、haproxy.cfg配置文件详解、常见问题分析、HAProxy调度算法、HAProxy负载均衡应用实践
MyCAT读写分离：MySQL读写分离任务背景、读写分离的目的、读写分离常见的实现方式、搭建M-S主从复制、代码实现读写分离、MyCAT实现读写分离实战（JDK配置、MyCAT配置文件详解、读写分离实践、高可用实践、分库分表、MyCAT企业级案例实践）
非关系型数据库NoSQL(Memcache/Redis/MongoDB)：非关系型数据库任务背景、Web项目访问流程、优化方案、缓存技术引入、memcached介绍、memcached安装与部署、telnet客户端使用、memcached指令详解、memcached tools工具使用、LRU失效机制、PHP memcached扩展安装、Session入memcached、缓存项目的热点数据; Redis介绍、Redis应用场景、Redis源码安装、客户端工具使用、Redis数据结构详解、数据持久化操作（快照+AOF）、企业级案例（主从，安全限制，PHP Redis扩展，Session入Redis）;MongoDB任务背景、MongoDB安装和配置、数据结构类型操作CURD、MongoDB安全设置、PHP扩展、桌面管理软件、企业级日志统计实践
JAVA项目架构设计实战（LNTM架构）：Java项目任务背景、Tomcat概述、Tomcat安装与部署、Tomcat企业级管理、Host虚拟主机配置、Server Status服务器状态、应用管理、Nginx动静分离、Nginx+Tomcat负载均衡、Maven概述、Maven项目打包、Maven项目部署
存储（NAS/SAN/GlusterFS/Ceph)：存储概述、Linux存储分层、存储的分类（DAS，NAS，SAN）、存储类型的分类（文件存储、块存储、对象存储）、SAN的分类、IP-SAN之iscsi实现; 分布式存储、Glusterfs介绍、raid级别回顾、常见卷的模式、Glusterfs集群、环境准备、集群部署、创建glusterfs存储卷、客户端使用、卷的删除、常见卷类型（stripe模式、distributed模式、distributed-replica模式、dispersed模式、distributed-dispersed模式）、其它卷类型、glusterfs分部署存储应用实战; 认识Ceph、Ceph架构原理图、Ceph集群、Ceph集群组件、Ceph集群环境准备、Ceph集群部署实践、RADOS原生数据存取、Ceph文件存储、Ceph块存储、Ceph对象存储、Ceph对象存储+owncloud打造云盘系统、Ceph Dashboard(拓展)
配置自动化（Ansible/SaltStack）：自动化运维任务背景、认识ansible、ansible安装与配置、服务器分组、ansible模块（hostname模块，file模块，模块，yum模块，service模块，command和shell模块，scriYAML格式pt模块）、playbook介绍、playbook实例、playbook编排应用、roles介绍、roles的目录结构、roles应用案例; saltstack介绍、saltstack安装与配置、saltstack远程执行命令、grains、pillar、配置管理文件、配置管理目录、配置管理命令、配置管理计划任务、其他命令、salt-ssh使用
企业级监控平台（Zabbix/Prometheus）：企业级监控任务背景、监控的目的、主流的开源监控平台、Zabbix概述、Zabbix服务器安装、Zabbix监控本机与远程主机、模板、监控项与应用集、图形、触发器、报警、Zabbix代理、主动监控与被动监控、Zabbix应用部署实战; 认识Prometheus、Prometheus原理架构图、Prometheus监控安装部署、Prometheus监控远程主机、远程MySQL、Grafana介绍、Grafana安装与登录、Prometheus结合Grafana实现Linux系统监控、CPU监控、MySQL监控等等、Grafana报警系统实践
企业级日志分析（ELK/Kafka)：ELK任务背景、ELK概述、elasticsearch部署、elasticsearch基础概念、elaticsearch基础API操作、ES查询语句、elasticsearch-head、logstash简介、logstash部署、日志采集、采集messages日志、采集多日志源、kibana介绍、kibana部署、kibana汉化、通过kibana查看集群信息、通过kibana查看logstash收集的日志索引、通过kibana做可视化图形、filebeat介绍、filebeat收集日志、filebeat传输给logstash、filebeat收集nginx日志、filebeat日志过滤
CI/CD（Git、Gitlab、Jenkins）：CI/CD任务背景、版本控制概念、Git安装、Git身份设置、Git创建本地仓库、Git暂存区、Git版本控制、Git分支管理、扩展：Windows版Git; Github概述、GitHub注册、创建项目、远程仓库、免密push、分支、多人协作; GitLab介绍、GitLab下载、安装与配置、GitLab配置、仓库管理、持续集成（CI）、持续交付（CD）、蓝绿部署、滚动更新、灰度发布
运维安全（SSL与CA认证/防火墙/ VPN/JumpServer与Teleport跳板机）：运维安全任务背景、运维安全概述、硬盘分区加密（扩展）、对称加密、非对称加密、数字签名、SSL与CA认证、SSL介绍、CA认证介绍、https应用实践; 防火墙概述、iptables的应用、iptables防火墙结构、iptables基本语法、iptables四表五链、企业级防火墙规则设置、firewalld包过滤、firewalld与iptables的区别、firewalld防火墙规则设置、firewall-config图形模式; VPN任务背景、隧道介绍、net-to-net隧道通讯、VPN介绍、IPSec协议、libreswan实现net-to-netVPN、三网络VPN互联、roadwarrior VPN（libreswan实现点对网VPN，openvpn实现点对网vpn，使用pptpd实现VPN），PAM认证，LDAP，开源堡垒机jumpserver，轻量级开源堡垒机teleport(拓展)
学完此阶段可掌握的核心能力：
1、 具备Linux服务器架构设计能力，保证应用架构合理可控；
2、具备监控检查系统软硬件运行状态，保证系统安全稳定运行的能力；
3、具备CI/CD持续集成/持续支付能力；
4、具备配置自动化以及日志分析能力；
5、具备解决复杂问题和技术难点的能力。
学完此阶段可解决的现实问题：
1、掌握Java、PHP服务器架构能力；
2、能够独立搭建企业级高可用服务器（集群、高可用、负载均衡、缓存、存储）；
3、掌握阿里云/华为云产品实战；
4、能使用Zabbix/Prometheus搭建企业级监控；
5、能够熟练掌握CI/CD持续集成/持续支付工具；
6、能够使用Ansible/SaltStack实现运维自动化；
7、能使用ELK实现企业级日志分析；
8、能够掌握常见运维安全防护手段。
学完此阶段可拥有的市场价值：熟练掌握和学习后，可满足Linux运维行业中高级需求。
4、第四阶段：Linux云计算运维
KVM虚拟化：KVM任务背景、计算机工作原理、虚拟化概述与分类、KVM环境准备、KVM安装、使用KVM安装虚拟机、KVM基础管理命令、KVM配置文件、KVM克隆、KVM网络管理、快照、设备管理、存储池管理、磁盘镜像管理、虚拟机快速创建脚本
公有云运维（阿里云[ECS/RDS/SLB/CDN/OSS/NFS]）：公有云任务背景、阿里云概述、VPC专有网络、阿里云安全组、云服务器ECS、自定义镜像、阿里云SLB、阿里云RDS、阿里云存储（NAS与OSS）、CDN、域名与域名解析、SSL证书、数据传输DTS、云监控、DDOS高防、容器服务、公有云企业级案例应用实践
私有云运维之OpenStack平台：私有云任务背景、OpenStack概述、OpenStack组件及其作用（Compute 计算服务、Networking 网络服务、Object Storage 对象存储、Block Storage 块存储服务、Identity 身份认证、Image Service 镜像服务、Dashboard UI页面、Metering 测量服务、Orchestration 编排部署、Database Service 云数据库）、OpenStack自动部署、OpenStack手工部署、OpenStack云平台应用实践
Docker容器技术：Docker容器技术任务背景、PAAS平台介绍、认识容器、Docker介绍、Docker内核技术（NameSpace，Control Group，LXC与docker区别）、Docker环境准备、Docker软件安装、Docker Daemon管理、镜像、容器、仓库、Docker存储驱动、Docker应用实践、Dockerfile概述、使用Dockerfile构建镜像、单宿主机容器互联方式、Docker网络、Docker的Web管理平台、Docker三剑客（Docker machine、Docker compose、Docker swarm）、Docker容器应用部署实践
Kubernetes(K8S)容器编排工具：Kubernetes(K8S)容器编排任务背景、认识容器编排、Kubernetes概述、Kubernetes架构、集群部署方式、Kubeadm部署Kubernetes集群、集群与节点信息、节点标签、namespace命名空间、工作负载(workloads)、pod概述、pod分类、pod的YAML格式、pod资源限制、pod调度、pod生命周期、pod控制器、service、ingress controller、kubernetes存储卷、ceph集群部署、ConfigMap、Secret、PV与PVC、API网关 kong、包管理方案 helm2、存储解决方案 GlusterFS、服务网格 istio、监控解决方案 heapster、应用实践 gitlab-ce、应用实践 jenkins、应用实践 kafka、应用实践 zookeeper应用实践 配置中心Apollo
综合案例：Docker+K8S企业级项目应用实践
学完此阶段可掌握的核心能力：
1、熟练掌握虚拟化技术；
2、掌握公有云与私有云架构实战；
3、熟练使用容器与容器编排工具；
4、熟练掌握企业级云计算技术应用实践。
学完此阶段可解决的现实问题：
1、能够使用KVM实现虚拟化；
2、能够掌握公有云与私有云服务器架构实战；
3、能够熟练使用Docker容器；
4、能够熟练使用Kubernetes（K8S）容器编排工具；
5、能够熟练掌握Docker+Kubernetes（K8S）项目架构设计
学完此阶段可拥有的市场价值：熟练掌握和学习后，可满足Linux云计算架构工程师的高级需求。
5、第五阶段：Python CMDB运维开发（DevOps）
HTML5：HTML简介、HTML标签详解、字符编码的奥秘、HTML5新特性与常用标签
CSS3：CSS简介、CSS的引入方式、CSS基本选择器、CSS属性、盒子模型、CSS浮动、CSS3新特性与常用属性、CSS应用案例
Bootstrap：Bootstrap环境搭建、全局样式、网页排版、表单、图片及辅助类、网页布局、Bootstrap组件、CMDB后台布局实战
JavaScript/Ajax/jQuery：JavaScript简介、Javascipt语法基础、BOM模型、DOM模型、Ajax概述、Ajax中的get与post请求、Ajax案例、jQuery框架概述、jQuery选择器、jQuery事件、jQuery与Ajax、JavaScript应用实践
Python基础：Python概述、Python环境部署、变量、标识符和关键字、输入和输出、数据类型转换、条件控制语句和循环语句、容器类型、函数、文件操作
Python高级：面向对象、异常处理、模块和包、Python与MySQL应用实践
Django框架：Django框架介绍、Django模型、ORM及数据库操作、视图及模板、Django中间件
综合项目：Python+Django实现CMDB企业自动化运维平台
学完此阶段可掌握的核心能力：
1、掌握Web前端开发相关技术如HTML5/CSS3/JavaScript；
2、掌握Python运维相关模块；
3、掌握Python Django框架；
4、具备一定的Python运维开发能力。
学完此阶段可解决的现实问题：
1、具备一定的编程思维，为未来系统架构师铺路搭桥；
2、能够熟练掌握Python运维相关模块实现运维管理；
3、能够使用Python+Django开发企业自动化运维平台。
学完此阶段可拥有的市场价值：熟练掌握和学习后，可满足Linux运维行业的高级需求。
㈦ 常见的大数据分析工具有哪些
大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告。
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash
㈧ 如何安装FastDFS
Google了一下，流行的开源分布式文件系统有很多，介绍如下：
mogileFS：Key-Value型元文件系统，不支持FUSE，应用程序访问它时需要API，主要用在web领域处理海量小图片，效率相比mooseFS高很多。
fastDFS：国人在mogileFS的基础上进行改进的key-value型文件系统，同样不支持FUSE，提供比mogileFS更好的性能。
mooseFS：支持FUSE，相对比较轻量级，对master服务器有单点依赖，用perl编写，性能相对较差，国内用的人比较多
glusterFS：支持FUSE，比mooseFS庞大
ceph：支持FUSE，客户端已经进入了linux-2.6.34内核，也就是说可以像ext3/rasierFS一样，选择ceph为文件系统。彻底的分布式，没有单点依赖，用C编写，性能较好。基于不成熟的btrfs，其本身也非常不成熟。
lustre：Oracle公司的企业级产品，非常庞大，对内核和ext3深度依赖
NFS：老牌网络文件系统，具体不了解，反正NFS最近几年没发展，肯定不能用。
鉴于fastDFS是国人开发，也有国内的一些大公司在使用，so…
普通的文件架构其实一两年内也是没有问题的，但有句话叫未雨绸缪，于是决定折腾折腾。
源码下载：http://code.google.com/p/fastdfs
寻求帮助：http://www.csource.org
一、安装libevent
fastDFS需要安装libevent比较新的版本，将本机的比较低的版本卸载了。
rpm -qa libevent
libevent-1.4.13-1.el6.x86_64
rpm -e --nodeps libevent
安装一个最新稳定版
wget https://github.com/downloads/libevent/libevent/libevent-2.0.18-stable.tar.gz
tar zxvf libevent-2.0.18-stable.tar.gz
cd libevent-2.0.18-stable
./configure
make && make install
为libevent创建软链接到/lib库下，64位系统对应/lib64
ln -s /usr/local/lib/libevent* /lib/
ln -s /usr/local/lib/libevent* /lib64/
二、安装FastDFS
wget http://fastdfs.googlecode.com/files/FastDFS_v3.06.tar.gz
tar zxvf FastDFS_v3.06.tar.gz
cd FastDFS
./make.sh
./make.sh install
三、配置FastDFS
环境：
tracker server
192.168.1.5
storage server
192.168.1.51
192.168.1.52
1、配置并启动 tracker server
①配置 tracker.conf
mkdir /data/fastdfs
vim /etc/fdfs/tracker.conf
base_path=/data/fastdfs
②启动 tracker
/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
③开机启动
vim /etc/rc.local
/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
2、配置并启动 storage server
①配置 tracker.conf
mkdir /data/fastdfs
mkdir /data/images
vim /etc/fdfs/storage.conf
base_path=/data/fastdfs
store_path0=/data/images
tracker_server=192.168.1.5:22122
②启动 tracker
/usr/local/bin/fdfs_storage /etc/fdfs/storage.conf
③开机启动
vim /etc/rc.local
/usr/local/bin/fdfs_storage /etc/fdfs/storage.conf
3、为storage节点安装fastdfs-nginx-mole模块
①安装模块
安装Nginx详见：
需重新编译Nginx
wget http://fastdfs.googlecode.com/files/fastdfs-nginx-mole_v1.10.tar.gz
tar zxvf fastdfs-nginx-mole_v1.10.tar.gz
wget http://nginx.org/download/nginx-1.2.0.tar.gz
tar zxvf nginx-1.2.0.tar.gz
cd nginx-1.2.0
./configure --prefix=/usr/local/nginx --add-mole=../fastdfs-nginx-mole/src
make && make install
cd ..
②配置
编辑nginx.conf
vim /usr/local/nginx/conf/nginx.conf
server {
listen 80;
server_name localhost;
location /M00 {
alias /data/images/data;
ngx_fastdfs_mole;
}
......
}
给 storage 的存储目录做一个软连接
ln -s /data/images/data/ /data/images/data/M00
拷贝mod_fastdfs.conf 到 /etc/fdfs/
cp fastdfs-nginx-mole/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf
base_path=/data/fastdfs
tracker_server=192.168.1.5:22122
store_path0=/data/images
启动nginx
/usr/local/nginx/sbin/nginx
四、使用FastDFS
1、上传文件
FastDFS安装包中，自带了客户端程序，通过程序可以进行文件上传。在使用这个客户端程序之前，首先需要配置client.conf，然后再进行文件上传及下载。
在tracker上修改客户端配置文件client.conf
vim /etc/fdfs/client.conf
base_path=/data/fastdfs
tracker_server=192.168.1.5:22122
vim a.html
This Is FastDFS Test.
上传文件
/usr/local/bin/fdfs_test /etc/fdfs/client.conf upload a.html
This is FastDFS client test program v3.06
Copyright (C) 2008, Happy Fish / YuQing
FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/
for more detail.
[2012-04-29 12:42:53] INFO - base_path=/data/tracker, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0
tracker_query_storage_store_list_without_group:
server 1. group_name=group1, ip_addr=192.168.1.51, port=23000
server 2. group_name=group1, ip_addr=192.168.1.52, port=23000
group_name=group1, ip_addr=192.168.1.51, port=23000
storage_upload_by_filename
group_name=group1, remote_filename=M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90.html
source ip address: 192.168.1.51
file timestamp=2012-04-29 12:42:53
file size=14
file crc32=674197143
file url: http://192.168.1.5/group1/M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90.html
storage_upload_slave_by_filename
group_name=group1, remote_filename=M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90_big.html
source ip address: 192.168.1.51
file timestamp=2012-04-29 12:42:53
file size=14
file crc32=674197143
file url: http://192.168.1.5/group1/M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90_big.html
上传成功
试试用
http://192.168.1.51/M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90_big.html
访问看看吧。
看了几天了，还是有些地方不是很明白，暂时搁置，不能再浪费时间了。
㈨ 如何学习开源项目及Ceph的浅析
举例而言，分析Linux Kenrel，则应该了解操作系统原理；学习OpenStack，则应该知道什么是云计算。如果没有这些背景知识作为基础，上来就死磕源代码，只能是事半功倍。
㈩ 怎么查看 ceph osd 参数值默认值
为了显示 Ceph 集群中每个 OSD 中包含的 PGs 数量，可以用如下方法： $ ceph --format xml pg mp | \ xmlstarlet sel -t -m "//pg_stats/pg_stat/acting" -v osd -n | \ sort -n | uniq -c 332 0 312 1 299 2 326 3 291 4 295 5 316 6 311 7 3.