云服务器搭建hadoop
❶ hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少
如果是集群的话，我考虑需要流畅运行的话，2核4G配置是可以满足的。因为这个集群形式，用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景，所以数据量是比较大的，所以配置太低了跑不动，会卡死的。
因为hadoop是海量数据的处理能力，所以服务器一定不能太小配置了，跑不动了就没实际用途了。最好使用4核8G内存及以上配置。
因为这方面内容较多，这里也写不开那么多内容，所以你可以留言或到我的博客上搜索相关内容，老魏有写过教程，还不止一篇，都挺详细的内容，可以帮助你入门。
❷ Hadoop的搭建一般至少要多少台机器
这个要看你的需求
比如你要处理的数据量，和你的服务器的配置
如果你只是学习，可以用2-3台服务器
如果没有条件，用一台电脑，装几个虚拟机也可以
❸ 如何构建最优化的Hadoop集群
本文将逐步介绍这些部分的安装和配置：
•网络体系结构
•操作系统
•硬件要求
•Hadoop软件安装/设置
网络架构
根据我们目前能够拿到的文档，可以认为云内的节点越在物理上接近，越能获得更好的性能。根据经验，网络延时越小，性能越好。
为了减少背景流量，我们为这个云创建了一个虚拟专用网。另外，还为应用服务器们创建了一个子网，作为访问云的入口点。
这个虚拟专用网的预计时延大约是1-2毫秒。这样一来，物理临近性就不再是一个问题，我们应该通过环境测试来验证这一点。
建议的网络架构：
•专用TOR(Top of Rack)交换机
•使用专用核心交换刀片或交换机
•确保应用服务器“靠近”Hadoop
•考虑使用以太网绑定
为了防止数据丢失，Hadoop会将每个数据块复制到多个机器上。想象一下，如果某个数据块的所有拷贝都在同一个机架的不同机器上，而这个机架刚好发生故障了(交换机坏了，或者电源掉了)，这得有多悲剧?为了防止出现这种情况，必须要有一个人来记住所有数据节点在网络中的位置，并且用这些知识来确定——把数据的所有拷贝们放在哪些节点上才是最明智的。这个“人”就是Name Node。
另外还有一个假设，即相比不同机架间的机器，同一个机架的机器之间有着更大的带宽和更小的延时。这是因为，机架交换机的上行带宽一般都小于下行带宽。而且(+本站微信networkworldweixin)，机架内的延时一般也小于跨机架的延时(但也不绝对)。
机架感知的缺点则是，我们需要手工为每个数据节点设置机架号，还要不断地更新这些信息，保证它们是正确的。要是机架交换机们能够自动向Namenode提供本机架的数据节点列表，那就太棒了。
❹ vmware和云服务器能一起搭建hadoop集群吗两台虚拟机一台云服务器 该怎么设置呢
理论上可以的，vmware虚拟机和云服务器其实和传统物理服务器用起来没差别。但如果你说的云服务器是公有云，是vmware在你的局域网，不推荐组合起来搭建hadoop，因为互联网的网络延迟比本地高，集群会不稳，非要做的话，vmware虚拟机需要用dnat映射地址到公网
❺ 阿里云服务器版本不一致有什么方法可以解决此问题，版本不一致配置Hadoop集群出现问题怎么解决
做毕设需要用到Hadopp数据库，但是考虑到给自己的电脑中装n个虚拟机一定会使自己电脑的速度和效率变得很低，所以选择使用阿里云的云服务器来进行项目的开发。
在阿里云官网租用一个服务器（学生服务有优惠:P），创建时公共镜像选择Ubuntu14.04，其他设置不变，创建好了以后需要安装各种相关软件才能搭建Hadoop的环境。
可以使用PuTTY来远程管理我们的云服务器。打开PuTTY后输入云服务器的公网IP，进入管理界面。
❻ 个人学习hadoop 选择什么云服务器好
我认为比较靠谱的几家云服务器：
阿里云
优点：品牌大，捆绑淘宝、支付宝等，账号注册和支付方便，产品线完善，自主化程度高；
缺点：售后服务时效性差，工单响应速度经常是半小时以上；磁盘IO是鸡肋；用的人多，公说公有理婆说婆有理；
腾讯云：
优点：同阿里，品牌大有资源，捆绑qq，产品线同样完善；
缺点：技术较阿里差些，像有些能平滑升级的腾讯目前无法实现，售后是缺点，但相对阿里云要好些
小鸟云：
优点：服务器稳定、带宽畅通，产品比较专一和专业，是行业新贵，服务水平是最大亮点；
缺点：新品牌，产品单一；
Ucloud：
优点：产品线全，服务够专业；
缺点：价格较高，属于资本劣势了，以游戏云发家，适合大型用户。
总价：小鸟云综合各方面都不错，可以选择。
❼ 如何架构大数据系统 hadoop
大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。
一、大数据建设思路
1）数据的获得
四、总结
基于分布式技术构建的大数据平台能够有效降低数据存储成本，提升数据分析处理效率，并具备海量数据、高并发场景的支撑能力，可大幅缩短数据查询响应时间，满足企业各上层应用的数据需求。
❽ 阿里云云服务器linux可以部署hadoop么
通过命令行下载Hadoop ，我下载的版本是1.2.1，版本稳定且方便学习。
[plain] view plain
wget http://mirror.bit.e.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
下载完成后，将hadoop安装包转移至要安装的目录
[plain] view plain
mv hadoop-1.2.1.tar.gz /usr/hadoop/
cd /usr/hadoop/
解压
[plain] view plain
tar -zxvf hadoop-1.2.1.tar.gz
配置Hadoop
配置文件在 hadoop的conf文件夹下
首先修改 hadoop-env.sh 文件
[plain] view plain
vim hadoop-env.sh
找到 # export java_HOME=…..
修改为 export JAVA_HOME=/usr/Java/java8
注意 // 如果忘记java的路径，可以通过命令 echo $JAVA_HOME查看
其次修改 core-site.xml 文件
其实 修改 hadoop-env.sh
[plain] view plain
vim hadoop-env.sh
修改内容为
[html] view plain
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://canghong:9000</value>
</property>
</configuration>
然后修改 hdfs-site.xml
[html] view plain
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
最后修改 mapred-site.xml
[html] view plain
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>canghong:9001</value>
</property>
</configuration>
配置完成后，告诉系统hadoop的安装目录
[plain] view plain
vim ~/.bashrc
export HADOOP_HOME=/usr/hadoop/hadoop-1.2.1
在 export PATH 中 加入 HADOOP_HOME
export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$PATH
测试
在命令行输入 hadoop
出现
10015 JobTracker
9670 TaskTracker
9485 DataNode
10380 Jps
9574 SecondaryNameNode
9843 NameNode
则表示成功
格式化文件系统
[plain] view plain
cd /usr/hadoop/hadoop-1.2.1/bin
hadoop namenode -formate
启动
启动 bin下的 start-all.sh
start-all.sh
测试
在命令行 输入 jps 查看hadoop是否正常运行
❾ hadoop怎么搭建web后端服务器
web应用是实时的应用。而hadoop平台是用来处理非实时数据的。 所以，通常是超大数据用hadoop处理，结果返回数据库（或hbase）中，web应用调用数据库。