文本哈希算法

A. hash算法是什么

哈希算法（Hash 算法，Hash 算式，散列算法，消息摘要算法）将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。

构成哈希算法的条件：

从哈希值不能反向推导出原始数据（所以哈希算法也叫单向哈希算法）。

对输入数据非常敏感，哪怕原始数据只修改了一个 Bit，最后得到的哈希值也大不相同。

散列冲突的概率要很小，对于不同的原始数据，哈希值相同的概率非常小。

哈希算法的执行效率要尽量高效，针对较长的文本，也能快速地计算出哈希值。

常见hash算法的原理

散列表，它是基于快速存取的角度设计的，也是一种典型的“空间换时间”的做法。顾名思义，该数据结构可以理解为一个线性表，但是其中的元素不是紧密排列的，而是可能存在空隙。

散列表（Hash table，也叫哈希表），是根据关键码值（Key value）而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。

B. QQ密码的哈希算法怎样得到求大神帮助

Hash，一般翻译做“散列”，也有直接音译为"哈希"的，就是把任意长度的输入（又叫做预映射， pre-－mage），通过散列算法，变换成固定长度的输出，该输出就是散列值。 这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能 会散列成相同的输出，而不可能从散列值来唯一的确定输入值。 数学表述为：h = H(M) ，其中H( )--单向散列函数，M--任意长度明文，h--固定长度散列值。 在信息安全领域中应用的Hash算法，还需要满足其他关键特性： 第一当然是单向性(one-way)，从预映射，能够简单迅速的得到散列值，而在计算上不可能 构造一个预映射，使其散列结果等于某个特定的散列值，即构造相应的M=H-1(h)不可行。这样，散列值就能在统计上唯一的表征输入值，因此，密码学上的 Hash 又被称为"消息摘要(message digest)"，就是要求能方便的将"消息"进行"摘要"，但在"摘要"中无法得到比"摘要"本身更多的关于"消息"的信息。 第二是抗冲突性(collision-resistant)，即在统计上无法产生2个散列值相同的预映射。 给定M，计算上无法找到M'，满足H(M)=H(M') ，此谓弱抗冲突性；计算上也难以寻找一对任意的M和M'，使满足H(M)=H(M') ，此谓强抗冲突性。要求"强抗冲突性"主要是为了防范 所谓"生日攻击(birthday attack)"，在一个10人的团体中，你能找到和你生日相同的人的概率是2.4%，而在同一团体中，有2人生日相同的概率是11.7%。类似的，当预映射的空间很大的情况下，算法必须有足够的强度来保证不能轻易找到"相同生日"的人。 第三是映射分布均匀性和差分分布均匀性，散列结果中，为 0 的 bit 和为 1 的 bit ，其总数应该大致相等；输入中一个 bit 的变化，散列结果中将有一半以上的 bit 改变，这又叫做"雪崩效应(avalanche effect)"；要实现使散列结果中出现 1bit 的变化，则输入中至少有一半以上的 bit 必须发生变化。其实质是必须使输入中每一个 bit 的信息， 尽量均匀的反映到输出的每一个 bit 上去；输出中的每一个 bit，都是输入中尽可能多 bit 的信息一起作用的结果。Damgard 和 Merkle 定义了所谓“压缩函数(compression function)”，就是将一个固定长度输入，变换成较短的固定长度的输出，这对密码学实践上 Hash 函数的设计产生了很大的影响。Hash函数就是被设计为基于通过特定压缩函数的不断重复“压缩”输入的分组和前一次压缩处理的结果的过程，直到整个消息都被压缩完毕，最后的输出作为整个消息的散列值。尽管还缺乏严格的证明，但绝大多数业界的研究者都同意，如果压缩函数是安全的，那么以上述形式散列任意长度的消息也将是安全的。这就是所谓Damgard/Merkle 任意长度的消息被分拆成符合压缩函数输入要求的分组，最后一个分组可能需要在末尾添上特定的填充字节，这些分组将被顺序处理，除了第一个消息分组将与散列初始化值一起作为压缩函数的输入外，当前分组将和前一个分组的压缩函数输出一起被作为这一次压缩的输入，而其输出又将被作为下一个分组压缩函数输入的一部分，直到最后一个压缩函数的输出，将被作为整个消息散列的结果。 MD5 和 SHA1 可以说是目前应用最广泛的Hash算法，而它们都是以 MD4 为基础设计的。 链表查找的时间效率为O(N)，二分法为log2N，B+ Tree为log2N，但Hash链表查找的时间效率为O(1)。 设计高效算法往往需要使用Hash链表，常数级的查找速度是任何别的算法无法比拟的，Hash链表的构造和冲突的不同实现方法对效率当然有一定的影 响，然而Hash函数是Hash链表最核心的部分，下面是几款经典软件中使用到的字符串Hash函数实现，通过阅读这些代码，我们可以在Hash算法的执行效 率、离散性、空间利用率等方面有比较深刻的了解。 下面分calc_hashnr_caseup(const byte *key,uint length) { register uint nr=1, nr2=4; html

C. 不同原文用同一个哈希算法进行处理的消息摘要一定不同吗

对原文长度没有限制，所有原文产生的散列值长度是一样的。
你对散列函数的理解有错误。散列函数唯一的条件是同样的原文产生的散列值（就是摘要）不同。而要将一个散列函数应用可以应用于消息的认证中，至少要有三个条件。1.可以产生定长输出，2.可以应用于任意大小的数据块，3.求出给定消息的散列值是可行的。
另外，安全的散列算法应当具有这几个性质：对于给定散列值，求出其对应明文是不可行的。必须具有抗强碰撞性和抗弱碰撞性。抗弱碰撞性是指对指定明文，找到与其具有相同散列值的明文是不可行的，这是必须的。抗强碰撞性是指找到任意具有相同散列的两条消息是不可行的，主要为了对抗生日攻击。
散列的算法比较多。最简单的就是将所有消息放在一起异或。另外有安全散列算法（SHA），Whirlpool等。
有什么不懂得可以再问我。

D. 什么是hash

提到hash，相信大多数同学都不会陌生，之前很火现在也依旧很火的技术区块链背后的底层原理之一就是hash，下面就从hash算法的原理和实际应用等几个角度，对hash算法进行一个讲解。

1、什么是Hash
Hash也称散列、哈希，对应的英文都是Hash。基本原理就是把任意长度的输入，通过Hash算法变成固定长度的输出。这个映射的规则就是对应的Hash算法，而原始数据映射后的二进制串就是哈希值。活动开发中经常使用的MD5和SHA都是历史悠久的Hash算法。

echo md5("这是一个测试文案");
// 输出结果：
在这个例子里，这是一个测试文案是原始值，
就是经过hash算法得到的Hash值。整个Hash算法的过程就是把原始任意长度的值空间，映射成固定长度的值空间的过程。

2、Hash的特点
一个优秀的hash算法，需要什么样的要求呢？

a)、从hash值不可以反向推导出原始的数据
这个从上面MD5的例子里可以明确看到，经过映射后的数据和原始数据没有对应关系
b)、输入数据的微小变化会得到完全不同的hash值，相同的数据会得到相同的值
echo md5("这是一个测试文案");// 输出结果：echo md5("这是二个测试文案");// 输出结果：可以看到我们只改了一个文字，但是整个得到的hash值产生了非常大的变化。
c)、哈希算法的执行效率要高效，长的文本也能快速地计算出哈希值
d)、hash算法的冲突概率要小
由于hash的原理是将输入空间的值映射成hash空间内，而hash值的空间远小于输入的空间。根据抽屉原理，一定会存在不同的输入被映射成相同输出的情况。那么作为一个好的hash算法，就需要这种冲突的概率尽可能小

E. 哈希算法如此简单易懂，你还学不会吗

哈希算法这个词可以说在比特币和区块链的世界中无处不在。那么哈希算法到底是什么呢？

哈希算法是指把任意长度的二进制映射为固定长度的较小的二进制值，这个较小的二进制值叫做哈希值。

哪怕只更改明文中的一个字母，映射后的哈希值都会不一样。

竞争记账权的过程就是寻找一个哈希值所对应的原输入文本的过程，这需要进行大量的计算。

并且找到对应同一个哈希值对应的两个不同的输入几乎是不可能的。比如输入值X通过哈希计算后变成了Y，即f(x)=y,现在已知Y，求X。但是由于哈希算法的不可逆性，基本不可能算出X的值，但好在有一个范围，正着推比较容易，所以只能一个一个试，试出来正确的值。

举个更简单的例子，灰姑娘的童话故事我们都听过。王子的手里有一只水晶鞋，这只水晶鞋只有灰姑娘能穿，其他姑娘都不能穿，鞋号一样也不行。王子要在全国姑娘当中找到能穿这只鞋的灰姑娘，就需要做大量的工作，让姑娘们挨个儿试穿，知道找到最适合穿水晶鞋的灰姑娘。这和比特币中矿工竞争记账的情况是相似的。

当然哈希计算远比上年的函数和举例要复杂得多，有兴趣可以阅读更多的专业书籍。

F. 对比顺序查找,二分查找和哈希查找算法,它们各自的特点是什么

1.对比顺序查找就是顺序的一个一个的比下去..1和2、1 和3、1和4...1和n
2.二分查找就是先和最中间的元素比较 大于此元素时将起始下标设置为此元素下表 继续和右边的中间元素比较，直到查找成功位置 相反小于则和左边的比较（默认数组一从小到大排序完整）
3.哈希算法是将任意长度的二进制值映射为固定长度的较小二进制值，这个小的二进哈希函数是一个数学方程式，它可用文本(如电子邮件信息)来生成称为信息摘要的代码。着名的哈希函数如：MD4，MD5，SHS。

G. 公钥、私钥、哈希、加密算法基础概念

生活中我们对文件要签名，签名的字迹每个人不一样，确保了独特性，当然这还会有模仿，那么对于重要文件再加盖个手印，指纹是独一无二的，保证了这份文件是我们个人所签署的。

那么在区块链世界里，对应的就是数字签名，数字签名涉及到公钥、私钥、哈希、加密算法这些基础概念。

首先加密算法分为对称加密算法、非对称加密算法、哈希函数加密算法三类。

所谓非对称加密算法，是指加密和解密用到的公钥和私钥是不同的，非对称加密算法依赖于求解一数学问题困难而验证一数学问题简单。

非对称加密系统，加密的称为公钥，解密的称为私钥，公钥加密，私钥解密、私钥签名，公钥验证。

比特币加密算法一共有两类：非对称加密算法（椭圆曲线加密算法）和哈希算法（SHA256，RIMPED160算法）

举一个例子来说明这个加密的过程：A给B发一个文件，B怎么知道他接收的文件是A发的原始文件？

A可以这样做，先对文件进行摘要处理（又称Hash，常见的哈希算法有MD5、SHA等）得到一串摘要信息，然后用自己的私钥将摘要信息加密同文件发给B，B收到加密串和文件后，再用A的公钥来解密加密串，得到原始文件的摘要信息，与此同时，对接收到的文件进行摘要处理，然后两个摘要信息进行对比，如果自己算出的摘要信息与收到的摘要信息一致，说明文件是A发过来的原始文件，没有被篡改。否则，就是被改过的。

数字签名有两个作用：
一是能确定消息确实是由发送方签名并发出来的；
二是数字签名能确定消息的完整性。

私钥用来创建一个数字签名，公钥用来让其他人核对私人密钥，
而数字签名做为一个媒介，证明你拥有密码，同时并不要求你将密码展示出来。

以下为概念的定义：

哈希（Hash）:
二进制输入数据的一种数字指纹。
它是一种函数，通过它可以把任何数字或者字符串输入转化成一个固定长度的输出，它是单向输出，即非常难通过反向推导出输入值。
举一个简单的哈希函数的例子，比如数字17202的平方根是131.15639519291463，通过一个简单的哈希函数的输出，它给出这个计算结果的后面几位小数，如后几位的9291463，通过结果9291463我们几乎不可能推算出它是哪个输入值的输出。
现代加密哈希比如像SHA-256，比上面这个例子要复杂的多，相应它的安全性也更高，哈希用于指代这样一个函数的输出值。

私钥（Private key）:
用来解锁对应（钱包）地址的一串字符，例如+。

公钥（Public keycryptography）：
加密系统是一种加密手段，它的每一个私钥都有一个相对应的公钥，从公钥我们不能推算出私钥，并且被用其中一个密钥加密了的数据，可以被另外一个相对应的密钥解密。这套系统使得你可以先公布一个公钥给所有人，然后所有人就可以发送加密后的信息给你，而不需要预先交换密钥。

数字签名（Digital signature）：
Digital signature数字签名是这样一个东西，它可以被附着在一条消息后面，证明这条消息的发送者就是和某个公钥相对应的一个私钥的所有人，同时可以保证私钥的秘密性。某人在检查签名的时候，将会使用公钥来解密被加密了的哈希值（译者注：这个哈希值是数据通过哈希运算得到的），并检查结果是否和这条信息的哈希值相吻合。如果信息被改动过，或者私钥是错误的话，哈希值就不会匹配。在比特币网络以外的世界，签名常常用于验证信息发送者的身份 – 人们公布他们自己的公钥，然后发送可以被公钥所验证的，已经通过私钥加密过的信息。

加密算法（encryption algorithm）：
是一个函数，它使用一个加密钥匙，把一条信息转化成一串不可阅读的看似随机的字符串，这个流程是不可逆的，除非是知道私钥匙的人来操作。加密使得私密数据通过公共的因特网传输的时候不需要冒严重的被第三方知道传输的内容的风险。

哈希算法的大致加密流程
1、对原文进行补充和分割处理（一般分给为多个512位的文本，并进一步分割为16个32位的整数）。
2、初始化哈希值（一般分割为多个32位整数，例如SHA256就是256位的哈希值分解成8个32位整数）。
3、对哈希值进行计算（依赖于不同算法进行不同轮数的计算，每个512位文本都要经过这些轮数的计算）。

区块链中每一个数据块中包含了一次网络交易的信息，产生相关联数据块所使用的就是非对称加密技术。非对密加密技术的作用是验证信息的有效性和生成下一个区块，区块链上网络交易的信息是公开透明的，但是用户的身份信息是被高度加密的，只有经过用户授权，区块链才能得到该身份信息，从而保证了数据的安生性和个人信息的隐私性。

公钥和私钥在非对称加密机制里是成对存在的，公钥和私钥可以去相互验证对方，那么在比特币的世界里面，我们可以把地址理解为公钥，可以把签名、输密码的过程理解为私钥的签名。
每个矿工在拿到一笔转账交易时候都可以验证公钥和私钥到底是不是匹配的，如果他们是匹配的，这笔交易就是合法的，这样每一个人只需要保管好TA自己的私钥，知道自己的比特币地址和对方的比特币地址就能够安全的将比特币进行转账，不需要一个中心化的机构来验证对方发的比特币是不是真的。

H. 一致性hash算法是什么

一致性哈希算法是在1997年由麻省理工学院提出的一种分布式哈希（DHT）算法。其设计目标是为了解决因特网中的热点（Hot spot)问题，初衷和CARP十分类似。

一致性Hash是一种特殊的Hash算法，由于其均衡性、持久性的映射特点，被广泛的应用于负载均衡领域，如nginx和memcached都采用了一致性Hash来作为集群负载均衡的方案。

一致性哈希算法的目标是，当K个请求key发起请求时。后台增减节点，只会引起K/N的key发生重新映射。即一致性哈希算法，在后台节点稳定时，同一key的每次请求映射到的节点是一样的。而当后台节点增减时，该算法尽量将K个key映射到与之前相同的节点上。

构成哈希算法的条件：

从哈希值不能反向推导出原始数据（所以哈希算法也叫单向哈希算法）。

对输入数据非常敏感，哪怕原始数据只修改了一个 Bit，最后得到的哈希值也大不相同。

散列冲突的概率要很小，对于不同的原始数据，哈希值相同的概率非常小。

哈希算法的执行效率要尽量高效，针对较长的文本，也能快速地计算出哈希值。

I. 2.哈希加密 & base64加密

一、哈希HASH

哈希(散列)函数  MD5 SHA1/256/512 HMAC

Hash的特点：

     1.算法是公开的

     2.对相同数据运算，得到的结果是一样的

     3.对不同数据运算，如MD5得到的结果是128位，32个字符的十六进制表示，没法逆运算

1.MD5加密

MD5加密的特点：

    不可逆运算

    对不同的数据加密的结果是定长的32位字符（不管文件多大都一样）

    对相同的数据加密，得到的结果是一样的（也就是复制）。

    抗修改性 : 信息“指纹”，对原数据进行任何改动,哪怕只修改一个字节,所得到的 MD5 值都有很大区别.

    弱抗碰撞 : 已知原数据和其 MD5 值,想找到一个具有相同 MD5 值的数据(即伪造数据)是非常困难的.

    强抗碰撞: 想找到两个不同数据,使他们具有相同的 MD5 值,是非常困难的

MD5 应用:

一致性验证：MD5将整个文件当做一个大文本信息，通过不可逆的字符串变换算法，产生一个唯一的MD5信息摘要，就像每个人都有自己独一无二的指纹,MD5对任何文件产生一个独一无二的数字指纹。

那么问题来了，你觉得这个MD5加密安全吗？其实是不安全的，不信的话可以到这个网站试试：md5破解网站。可以说嗖地一下就破解了你的MD5加密！

2.SHA加密

    安全哈希算法（Secure Hash Algorithm）主要适用于数字签名标准（Digital Signature Standard DSS）里面定义的数字签名算法（Digital Signature Algorithm DSA）。对于长度小于2^64位的消息，SHA1会产生一个160位的消息摘要。当接收到消息的时候，这个消息摘要可以用来验证数据的完整性。在传输的过程中，数据很可能会发生变化，那么这时候就会产生不同的消息摘要。当让除了SHA1还有SHA256以及SHA512等。

二、base64加密

1.Base64说明

    描述：Base64可以成为密码学的基石，非常重要。

    特点：可以将任意的二进制数据进行Base64编码

    结果：所有的数据都能被编码为并只用65个字符就能表示的文本文件。

    65字符：A~Z a~z 0~9 + / =

    对文件进行base64编码后文件数据的变化：编码后的数据~=编码前数据的4/3，会大1/3左右。

2.命令行进行Base64编码和解码

    编码：base64 123.png -o 123.txt

    解码：base64 123.txt -o test.png -D

2.Base64编码原理

    1)将所有字符转化为ASCII码；

    2)将ASCII码转化为8位二进制；

    3)将二进制3个归成一组(不足3个在后边补0)共24位，再拆分成4组，每组6位；

    4)统一在6位二进制前补两个0凑足8位；

    5)将补0后的二进制转为十进制；

    6)从Base64编码表获取十进制对应的Base64编码；

处理过程说明：

    a.转换的时候，将三个byte的数据，先后放入一个24bit的缓冲区中，先来的byte占高位。

    b.数据不足3byte的话，于缓冲区中剩下的bit用0补足。然后，每次取出6个bit，按照其值选择查表选择对应的字符作为编码后的输出。

    c.不断进行，直到全部输入数据转换完成。