dht源码

1. 要成为一名专业的程序员，从零开始需要怎么一步步来比较好，要把最底层的先学精通吗(个人认为)求学长

前言
你是否觉得自己从学校毕业的时候只做过小玩具一样的程序？走入职场后哪怕没有什么经验也可以把以下这些课外练习走一遍（朋友的抱怨：学校课程总是从理论出发，作业项目都看不出有什么实际作用，不如从工作中的需求出发）
建议：
不要乱买书，不要乱追新技术新名词，基础的东西经过很长时间积累而且还会在未来至少10年通用。
回顾一下历史，看看历史上时间线上技术的发展，你才能明白明天会是什么样。
一定要动手，例子不管多么简单，建议至少自己手敲一遍看看是否理解了里头的细枝末节。
一定要学会思考，思考为什么要这样，而不是那样。还要举一反三地思考。
注：你也许会很奇怪为什么下面的东西很偏Unix/linux，这是因为我觉得Windows下的编程可能会在未来很没有前途，原因如下：
现在的用户界面几乎被两个东西主宰了，1）Web，2）移动设备iOS或Android。Windows的图形界面不吃香了。
越来越多的企业在用成本低性能高的Linux和各种开源技术来构架其系统，Windows的成本太高了。
微软的东西变得太快了，很不持久，他们完全是在玩弄程序员。详情参见《Windows编程革命史》
所以，我个人认为以后的趋势是前端是Web+移动，后端是Linux+开源。开发这边基本上没Windows什么事。
启蒙入门
1、 学习一门脚本语言，例如python/Ruby
可以让你摆脱对底层语言的恐惧感，脚本语言可以让你很快开发出能用得上的小程序。实践项目:
处理文本文件，或者csv (关键词 python csv, python open, python sys) 读一个本地文件，逐行处理（例如 word count，或者处理log）
遍历本地文件系统 (sys, os, path)，例如写一个程序统计一个目录下所有文件大小并按各种条件排序并保存结果
跟数据库打交道 (python sqlite)，写一个小脚本统计数据库里条目数量
学会用各种print之类简单粗暴的方式进行调试
学会用Google (phrase, domain, use reader to follow tech blogs)
为什么要学脚本语言，因为他们实在是太方便了，很多时候我们需要写点小工具或是脚本来帮我们解决问题，你就会发现正规的编程语言太难用了。
2、 用熟一种程序员的编辑器(不是IDE) 和一些基本工具
Vim / Emacs / Notepad++，学会如何配置代码补全，外观，外部命令等。
Source Insight (或 ctag)
使用这些东西不是为了Cool，而是这些编辑器在查看、修改代码/配置文章/日志会更快更有效率。
3、 熟悉Unix/Linux Shell和常见的命令行
如果你用windows，至少学会用虚拟机里的linux， vmware player是免费的，装个Ubuntu吧
一定要少用少用图形界面。
学会使用man来查看帮助
文件系统结构和基本操作 ls/chmod/chown/rm/find/ln/cat/mount/mkdir/tar/gzip …
学会使用一些文本操作命令 sed/awk/grep/tail/less/more …
学会使用一些管理命令 ps/top/lsof/netstat/kill/tcpmp/iptables/dd…
了解/etc目录下的各种配置文章，学会查看/var/log下的系统日志，以及/proc下的系统运行信息
了解正则表达式，使用正则表达式来查找文件。
对于程序员来说Unix/Linux比Windows简单多了。（参看我四年前CSDN的博文《其实Unix很简单》）学会使用Unix/Linux你会发现图形界面在某些时候实在是太难用了，相当地相当地降低工作效率。
4、 学习Web基础（HTML/CSS/JS) + 服务器端技术 (LAMP)
未来必然是Web的世界，学习WEB基础的最佳网站是W3School。
学习HTML基本语法
学习CSS如何选中HTML元素并应用一些基本样式（关键词：box model）
学会用 Firefox + Firebug 或 chrome 查看你觉得很炫的网页结构，并动态修改。
学习使用javascript操纵HTML元件。理解DOM和动态网页（Dynamic HTML: The Definitive Reference, 3rd Edition - O'Reilly Media) 网上有免费的章节，足够用了。或参看 DOM 。
学会用 Firefox + Firebug 或 chrome 调试Javascript代码（设置断点，查看变量，性能，控制台等）
在一台机器上配置Apache 或 Nginx
学习php，让后台PHP和前台HTML进行数据交互，对服务器相应浏览器请求形成初步认识。实现一个表单提交和反显的功能。
把PHP连接本地或者远程数据库 MySQL（MySQL 和 SQL现学现用够了）
跟完一个名校的网络编程课程（例如：http://www.stanford.e/~ouster/cgi-bin/cs142-fall10/index.php ) 不要觉得需要多于一学期时间，大学生是全职一学期选3-5门课，你业余时间一定可以跟上
学习一个javascript库（例如jQuery 或 ExtJS）+ Ajax (异步读入一个服务器端图片或者数据库内容）+JSON数据格式。
HTTP: The Definitive Guide 读完前4章你就明白你每天上网用浏览器的时候发生的事情了(proxy, gateway, browsers)
做个小网站（例如：一个小的留言板，支持用户登录，Cookie/Session，增、删、改、查，上传图片附件，分页显示）
买个域名，租个空间，做个自己的网站。
进阶加深
1、 C语言和操作系统调用
重新学C语言，理解指针和内存模型，用C语言实现一下各种经典的算法和数据结构。推荐《计算机程序设计艺术》、《算法导论》和《编程珠玑》。
学习（麻省理工免费课程）计算机科学和编程导论
学习（麻省理工免费课程）C语言内存管理
学习Unix/Linux系统调用（Unix高级环境编程），，了解系统层面的东西。
用这些系统知识操作一下文件系统，用户（实现一个可以拷贝目录树的小程序）
用fork/wait/waitpid写一个多进程的程序，用pthread写一个多线程带同步或互斥的程序。多进程多进程购票的程序。
用signal/kill/raise/alarm/pause/sigprocmask实现一个多进程间的信号量通信的程序。
学会使用gcc和gdb来编程和调试程序（参看我的《用gdb调试程序》）
学会使用makefile来编译程序。（参看我的《跟我一起写makefile》）
IPC和Socket的东西可以放到高级中来实践。
学习Windows SDK编程（Windows 程序设计 ，MFC程序设计）
写一个窗口，了解WinMain/WinProcere，以及Windows的消息机制。
写一些程序来操作Windows SDK中的资源文件或是各种图形控件，以及作图的编程。
学习如何使用MSDN查看相关的SDK函数，各种WM_消息以及一些例程。
这本书中有很多例程，在实践中请不要照抄，试着自己写一个自己的例程。
不用太多于精通这些东西，因为GUI正在被Web取代，主要是了解一下Windows 图形界面的编程。@virushuo 说：“ 我觉得GUI确实不那么热门了，但充分理解GUI工作原理是很重要的。包括移动设备开发，如果没有基础知识仍然很吃力。或者说移动设备开发必须理解GUI工作，或者在win那边学，或者在mac/iOS上学”。
2、学习Java
Java 的学习主要是看经典的Core Java 《Java 核心技术编程》和《Java编程思想》（有两卷，我仅链了第一卷，足够了，因为Java的图形界面了解就可以了）
学习JDK，学会查阅Java API Doc Java Platform SE 6
了解一下Java这种虚拟机语言和C和Python语言在编译和执行上的差别。从C、Java、Python思考一下“跨平台”这种技术。
学会使用IDE Eclipse，使用Eclipse 编译，调试和开发Java程序。
建一个Tomcat的网站，尝试一下JSP/Servlet/JDBC/MySQL的Web开发。把前面所说的那个PHP的小项目试着用JSP和Servlet实现一下。
3、Web的安全与架构

学习HTML5，网上有很多很多教程，以前酷壳也介绍过很多，我在这里就不罗列了。
学习Web开发的安全问题（参考新浪微博被攻击的这个事，以及Ruby的这篇文章）
学习HTTP Server的rewrite机制，Nginx的反向代理机制，fast-cgi（如：PHP-FPM）
学习Web的静态页面缓存技术。
学习Web的异步工作流处理，数据Cache，数据分区，负载均衡，水平扩展的构架。
实践任务：
使用HTML5的canvas 制作一些Web动画。
尝试在前面开发过的那个Web应用中进行SQL注入，JS注入，以及XSS攻击。
把前面开发过的那个Web应用改成构造在Nginx + PHP-FPM + 静态页面缓存的网站
4、学习关系型数据库
你可以安装MSSQLServer或MySQL来学习数据库。
学习教科书里数据库设计的那几个范式，1NF，2NF，3NF，……
学习数据库的存过，触发器，视图，建索引，游标等。
学习SQL语句，明白表连接的各种概念（参看《SQL Join的图示》）
学习如何优化数据库查询（参看《MySQL的优化》）
实践任务：设计一个论坛的数据库，至少满足3NF，使用SQL语句查询本周，本月的最新文章，评论最多的文章，最活跃用户。
5、一些开发工具
学会使用SVN或Git来管理程序版本。
学会使用JUnit来对Java进行单元测试。
学习C语言和Java语言的coding standard 或 coding guideline。（我N年前写过一篇关C语言非常简单的文章——《编程修养》，这样的东西你可以上网查一下，一大堆）。
推荐阅读《代码大全》《重构》《代码整洁之道》
高级深入
1、C++ / Java 和面向对象
我个人以为学好C++，Java也就是举手之劳。但是C++的学习曲线相当的陡。不过，我觉得C++是最需要学好的语言了。参看两篇趣文“C++学习信心图” 和“21天学好C++”
学习（麻省理工免费课程）C++面向对象编程
读我的 “如何学好C++”中所推荐的那些书至少两遍以上（如果你对C++的理解能够深入到像我所写的《C++虚函数表解析》或是《C++对象内存存局（上）（下）》，或是《C/C++返回内部静态成员的陷阱》那就非常不错了）
然后反思为什么C++要干成这样，Java则不是？你一定要学会对比C++和Java的不同。比如，Java中的初始化，垃圾回收，接口，异常，虚函数，等等。
实践任务：
用C++实现一个BigInt，支持128位的整形的加减乘除的操作。
用C++封装一个数据结构的容量，比如hash table。
用C++封装并实现一个智能指针（一定要使用模板）。
《设计模式》必需一读，两遍以上，思考一下，这23个模式的应用场景。主要是两点：1）钟爱组合而不是继承，2）钟爱接口而不是实现。（也推荐《深入浅出设计模式》）
实践任务：
使用工厂模式实现一个内存池。
使用策略模式制做一个类其可以把文本文件进行左对齐，右对齐和中对齐。
使用命令模式实现一个命令行计算器，并支持undo和redo。
使用修饰模式实现一个酒店的房间价格订价策略——旺季，服务，VIP、旅行团、等影响价格的因素。
学习STL的用法和其设计概念 - 容器，算法，迭代器，函数子。如果可能，请读一下其源码。
实践任务：尝试使用面向对象、STL，设计模式、和WindowsSDK图形编程的各种技能
做一个贪吃蛇或是俄罗斯方块的游戏。支持不同的级别和难度。
做一个文件浏览器，可以浏览目录下的文件，并可以对不同的文件有不同的操作，文本文件可以打开编辑，执行文件则执行之，mp3或avi文件可以播放，图片文件可以展示图片。
学习C++的一些类库的设计，如： MFC（看看候捷老师的《深入浅出MFC》） ，Boost, ACE, CPPUnit，STL （STL可能会太难了，但是如果你能了解其中的设计模式和设计那就太好了，如果你能深入到我写的《STL string类的写时拷贝技术》那就非常不错了，ACE需要很强在的系统知识，参见后面的“加强对系统的了解”）
Java是真正的面向对象的语言，Java的设计模式多得不能再多，也是用来学习面向对象的设计模式的最佳语言了（参看Java中的设计模式）。
推荐阅读《Effective Java》 and 《Java解惑》
学习Java的框架，Java的框架也是多，如Spring, Hibernate，Struts 等等，主要是学习Java的设计，如IoC等。
Java的技术也是烂多，重点学习J2EE架构以及JMS， RMI, 等消息传递和远程调用的技术。
学习使用Java做Web Service （官方教程在这里）
实践任务： 尝试在Spring或Hibernate框架下构建一个有网络的Web Service的远程调用程序，并可以在两个Service中通过JMS传递消息。
C++和Java都不是能在短时间内能学好的，C++玩是的深，Java玩的是广，我建议两者选一个。我个人的学习经历是：
深究C++（我深究C/C++了十来年了）
学习Java的各种设计模式。
2、加强系统了解
重要阅读下面的几本书：
《Unix编程艺术》了解Unix系统领域中的设计和开发哲学、思想文化体系、原则与经验。你一定会有一种醍醐灌顶的感觉。
《Unix网络编程卷1，套接字》这是一本看完你就明白网络编程的书。重要注意TCP、UDP，以及多路复用的系统调用select/poll/epoll的差别。
《TCP/IP详解 卷1:协议》- 这是一本看完后你就可以当网络黑客的书。了解以太网的的运作原理，了解TCP/IP的协议，运作原理以及如何TCP的调优。
实践任务：
理解什么是阻塞（同步IO），非阻塞（异步IO），多路复用（select, poll, epoll）的IO技术。
写一个网络聊天程序，有聊天服务器和多个聊天客户端（服务端用UDP对部分或所有的的聊天客户端进Multicast或Broadcast）。
写一个简易的HTTP服务器。
《Unix网络编程卷2，进程间通信》信号量，管道，共享内存，消息等各种IPC…… 这些技术好像有点老掉牙了，不过还是值得了解。
实践任务：
主要实践各种IPC进程序通信的方法。
尝试写一个管道程序，父子进程通过管道交换数据。
尝试写一个共享内存的程序，两个进程通过共享内存交换一个C的结构体数组。
学习《Windows核心编程》一书。把CreateProcess，Windows线程、线程调度、线程同步（Event, 信号量，互斥量）、异步I/O，内存管理，DLL，这几大块搞精通。
实践任务：使用CreateProcess启动一个记事本或IE，并监控该程序的运行。把前面写过的那个简易的HTTP服务用线程池实现一下。写一个DLL的钩子程序监控指定窗口的关闭事件，或是记录某个窗口的按键。
有了多线程、多进程通信，TCP/IP，套接字，C++和设计模式的基本，你可以研究一下ACE了。使用ACE重写上述的聊天程序和HTTP服务器（带线程池）
实践任务：通过以上的所有知识，尝试
写一个服务端给客户端传大文件，要求把100M的带宽用到80%以上。（注意，磁盘I/O和网络I/O可能会很有问题，想一想怎么解决，另外，请注意网络传输最大单元MTU）
了解BT下载的工作原理，用多进程的方式模拟BT下载的原理。
3、系统架构
负载均衡。HASH式的，纯动态式的。（可以到Google学术里搜一些关于负载均衡的文章读读）
多层分布式系统 – 客户端服务结点层、计算结点层、数据cache层，数据层。J2EE是经典的多层结构。
CDN系统 – 就近访问，内容边缘化。
P2P式系统，研究一下BT和电驴的算法。比如：DHT算法。
服务器备份，双机备份系统（Live-Standby和Live-Live系统），两台机器如何通过心跳监测对方？集群主结点备份。
虚拟化技术，使用这个技术，可以把操作系统当应用程序一下切换或重新配置和部署。
学习Thrift，二进制的高性能的通讯中间件，支持数据(对象)序列化和多种类型的RPC服务。
学习Hadoop。Hadoop框架中最核心的设计就是：MapRece和HDFS。MapRece的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapRece就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。
了解NoSQL数据库（有人说可能是一个过渡炒作的技术），不过因为超大规模以及高并发的纯动态型网站日渐成为主流，而SNS类网站在数据存取过程中有着实时性等刚性需求，这使得目前NoSQL数据库慢慢成了人们所关注的焦点，并大有成为取代关系型数据库而成为未来主流数据存储模式的趋势。当前NoSQL数据库很多，大部分都是开源的，其中比较知名的有：MemcacheDB、Redis、Tokyo Cabinet(升级版为Kyoto Cabinet)、Flare、MongoDB、CouchDB、Cassandra、Voldemort等。

2. 深入理解 IPFS - DHT 网络（1）

深入理解 IPFS - DHT 网络（1）

在探讨 IPFS 架构时，DHT（分布式哈希表）扮演着关键角色。本篇文章将从应用、原理两个角度深入剖析 DHT 网络。

在 IPFS 网络层中，源码位于 libp2p。利用 go-libp2p 进行分析。

假设两个节点，分别为 earth 和 mars，各自加入 DHT 网络。随后，他们需找到对方并互相发送消息。

（一）节点初始化

初始化节点仅需一行代码：libp2p.New()。自定义参数如监听地址与端口号 /ip4/127.0.0.1/tcp/8004，相当于 127.0.0.1:8004，但自解释性更强。通过 /ip4/1.2.3.4/tcp/4321/p2p/，可以看到 PeerId ，不仅通过 IP+端口寻址，通过 PeerId 也能直接定位到节点。

初始化后，生成节点，ID 以 btc58encode 编码，即 ，即上文提及的 PeerID。完成初始化后，配置 8004 端口的 handler。

handleStream 函数实现类似于普通 socket 编程，读写数据即可。

（二）加入 DHT 网络

节点建立完成后，加入 DHT 网络是接下来的关键步骤。无论在比特币、以太坊还是早期的 BT 网络中，新节点加入网络时都需要种子（bootstrap）节点作为起点，扩展自己的路由表。

（三）广而告之

回到开头场景，假设初始化节点名为 mars，加入 DHT 网络后，需要向所有节点宣布自己是 mars 节点。

原理将在下篇文章中深入分析。nodeName 转换为内容哈希，节点通过 Advertise 方法告知其他节点自己拥有此哈希，其他节点会更新路由表。当有请求查找此内容时，会告知拥有此内容的节点或更接近的节点。

（四）寻找节点

FindPeers 实现逻辑是寻找 earth 这个哈希地址，找到后建立双工连接，实现了服务端与客户端的通信。

（五）演示

（六）完善

以上例子存在一个风险，任何节点都可声称自己是 mars 节点，通信双方难以信任。因此，适用于聊天室场景的这种模式。通过将内容寻址改为节点寻址，可找到可信的通信方，前提是已知要通信的节点 ID。

以下是代码示例。

3. 什么是BT下载

BitTorrent协议（简称BT，俗称比特洪流、BT下载、变态下载）是一个网络文件传输协议，它能够实现点对点文件分享的技术。比起其他点对点的协议，它更有多点对多点的特性，这个特点简单的说就是：下载的人越多，速度越快。下载完不马上关闭BitTorrent软件，就可以成为种子（拥有完整的文件者）分流让其他人下载。

原理简述
BT原理普通的HTTP/FTP下载使用TCP/IP协议，BitTorrent协议是架构于TCP/IP协议之上的一个P2P文件传输协议，处于TCP/IP结构的应用层。 BitTorrent协议本身也包含了很多具体的内容协议和扩展协议，并在不断扩充中。

根据BitTorrent协议，文件发布者会根据要发布的文件生成提供一个.torrent文件，即种子文件，也简称为“种子”。

.torrent文件本质上是文本文件，包含Tracker信息和文件信息两部分。Tracker信息主要是BT下载中需要用到的Tracker服务器的地址和针对Tracker服务器的设置，文件信息是根据对目标文件的计算生成的，计算结果根据BitTorrent协议内的B编码规则进行编码。它的主要原理是需要把提供下载的文件虚拟分成大小相等的块，块大小必须为2k的整数次方（由于是虚拟分块，硬盘上并不产生各个块文件），并把每个块的索引信息和Hash验证码写入.torrent文件中；所以，.torrent文件就是被下载文件的“索引”。

下载者要下载文件内容，需要先得到相应的.torrent文件，然后使用BT客户端软件进行下载。

下载时，BT客户端首先解析.torrent文件得到Tracker地址，然后连接Tracker服务器。Tracker服务器回应下载者的请求，提供下载者其他下载者（包括发布者）的IP。下载者再连接其他下载者，根据.torrent文件，两者分别对方告知自己已经有的块，然后交换对方没有的数据。此时不需要其他服务器参与，分散了单个线路上的数据流量，因此减轻了服务器负担。

下载者每得到一个块，需要算出下载块的Hash验证码与.torrent文件中的对比，如果一样则说明块正确，不一样则需要重新下载这个块。这种规定是为了解决下载内容准确性的问题。

一般的HTTP/FTP下载，发布文件仅在某个或某几个服务器，下载的人太多，服务器的带宽很易不胜负荷，变得很慢。而BitTorrent协议下载的特点是，下载的人越多，提供的带宽也越多，种子也会越来越多，下载速度就越快。

而有些人下载完成后关掉下载任务，提供较少量数据给其他用户，为尽量避免这种行为，在非官方BitTorrent协议中存在超级种子的算法。这种算法允许文件发布者分几步发布文件，发布者不需要一次提供文件所有内容，而是慢慢开放的下载内容的比例，延长下载时间。此时，速度快的人由于未下载完必须提供给他人数据，速度慢的人有更多机会得到数据。

[编辑] DHT网络
目前，又发展出DHT网络技术，使得无Tracker下载成为可能。

DHT全称为分布式哈希表(Distributed Hash Table)，是一种分布式存储方法。在不需要服务器的情况下，每个客户端负责一个小范围的路由，并负责存储一小部分数据，从而实现整个DHT网络的寻址和存储。使用支持该技术的BT下载软件，用户无需连上Tracker就可以下载，因为软件会在DHT网络中寻找下载同一文件的其他用户并与之通讯，开始下载任务。

有些软件(比特精灵)还会自动通过DHT搜索种子资源，构成种子市场。

另外，这里使用的DHT算法叫Kademlia（在eMule中也有使用，称为KAD，具体实现协议有所不同）。

这种技术好处十分明显，就是大大减轻了Tracker的负担（甚至不需要）。用户之间可以更快速建立通讯（特别是与Tracker连接不上的时候）。

[编辑] BT中相关概念
Tracker：收集下载者信息的服务器，并将此信息提供给其他下载者，使下载者们相互连接起来，传输数据。

种子：指一个下载任务中所有文件都被某下载者完整的下载，此时下载者成为一个种子。发布者本身发布的文件就是原始种子。也指.torrent文件。

做种：发布者提供下载任务的全部内容的行为；下载者下载完成后继续提供给他人下载的行为。

[编辑] BitTorrent与自由软件
BitTorrent对于大型文档和自由软件如Linux、FreeBSD的发布帮助很大。对于发布数百MB以至数GB的文件时，如Fedora的光盘镜像格式档，BitTorrent的使用能大大减低服务器的数据流量从而减低发布的成本。另外，一般有新版本软件推出时，服务器必定人山人海，使用BitTorrent也能大大减低繁忙时间服务器的负担。

[编辑] 优秀的BT软件
BT Plus!
BitComet
BitLord
BitBuddy
BitTornado
Azureus
µTorrent
比特精灵
BitTorrent

[编辑] 历史
2002年，布莱姆·科亨在CodeCon初次露面，发表首个BT软件BitTorrent。它以Python写成，以MIT许可证发布。

[编辑] 负面影响
BT下载方式目前引起社会的广泛讨论。

利用BT免费发布版权内容肯定损害版权所有者的合法权益，但传播非收费性内容的好处有目共睹。争论的焦点是，是否应因此立法全面禁止BT，并且对从事BT下载的人作出惩罚。但到目前为止，中国大陆和西欧国家等，如德国，对BT仍没有任何法律上的约束。而在香港，已经有人(绰号为古惑天皇)因为发布电影的种子而被海关拘捕。2005年10月24日，香港司法机关裁定“古惑天皇”的侵权罪成立，需要即时“监禁”三个月。香港工商贸易部门领导曾俊华与“海关关长”汤显明对今次裁决感到欢迎，并表示香港将不容忍任何侵权行为的存在，同时政府亦会随时与商人合作打击侵权行为。而在台湾，由于需受到美国特别301条款报复的压力，因此经常与IFPI及商业软件联盟（BSA）等商业版权组织合作查缉提供BT来源的网站及讨论区，台湾论坛首度因为供应BT下载遭到被捕，卡提诺王国为全台湾最大的BT以及违法分享最大的分享平台，也于不久后被法务部调查。

[编辑] 支援BT下载协定的浏览器
Opera 8.10 Preview 2 (正式版未发布该功能)