这段时间刚好正在做软件安全的实验和课设,学习了各种加密算法,比如对称加密算法的DES,AES;非对称加密算法的RSA;再如今天要讲的主角-单向加密算法的MD5。为什么这么多算法,MD5成为了今天的猪脚呢?,这是因为个人感觉在目前Android开发中MD5算是比较常用的,所以很值得一讲。所以今天让我带你们来全面认识我们的主角MD5。
一、基本概念
1. 单向加密算法
在介绍MD5算法前,很有必要解释一下单向加密算法。单向加密,人如其名,就是只能单向对明文进行加密,而不能逆向通过密文得到明文。该算法在加密过程中,在得到明文后,经过加密算法得到密文,不需要使用密钥。因为没有密钥,所以就无法通过密文得到明文。
2. MD5算法
MD5,全称Message Digest Algorithm 5,翻译过来就是消息摘要算法第5版,是计算机安全领域广泛使用的一种散列函数,用于确保信息传输的完整性。MD5算法是由MD2、MD3、MD4演变而来,是一种单向加密算法,一种不可逆的加密方式。
二、特点
1.长度固定
不过多长的数据,经过MD5加密后其MD5值长度都是固定的。MD5值长度固定为128位,而最后的值一般都用16进制数字表示,一个16进制数字占4位,所以最后的MD5值都是用32个16进制数字表示。
2.计算简单
MD5算法说到底还是散列算法,或者叫做哈希算法,所以计算一个数据的MD5值是比较容易的,同时加密速度也是很快的。
3.抗修改性
对原数据进行任何改动,哪怕只是修改1个字节,所得到的MD5值都有很大的区别。
4.强抗碰撞性
已知原数据和其MD5值,很难找到具有相同MD5值的数据,即很难伪造数据。这里的碰撞在后面的安全性中会提到,在这里我们简单理解为一种破解手段。
三、原理
1.填充数据
首先计算数据长度(bit)对512求余的结果,如果不等于448,就需要填充数据使得数据长度对512求余的结果为448,其填充方式为第一位填充1,其余位填充0.填充后数据长度为512*N+448。
2.记录数据长度
用64位来存储填充前数据的长度,这64位将加在填充后数据的后面,这样最终的数据长度为512*N+448+64=(N+1)*512
3.装入标准幻数
标准幻数其实就是4个整数,我们知道最终的MD5值长度为128位,按32位分成一组的话可以分成4组,而这4组结果就是由这4个标准幻数A,B,C,D经过不断演变得到。在MD5官方的实现中,四个幻数为(16进制):
其实上面是大端字节序的幻数,而在正常程序中,我们实现的是小端字节序,所以在程序中我们定义的幻数应该是:
4.四轮循环运算
在上面对数据处理后,数据长度将是(N+1)/512,我们将每512位(64字节)作为一块,总共要循环N+1次,并将块细分为16个小组,每组的长度为32位(4字节),这16个小组即为一轮,总共得循环4轮,即64次循环。总的来说我们需要(N+1)个主循环,每个主循环包含了64次子循环,来不断的改变幻数A,B,C,D才能最终得到数据的MD5值。
4.1 相关系数说明
1)4个非线性函数
F(x,y,z)=(x&y)|((~x)&z)G(x,y,z)=(x&z)|(y&(~z))H(x,y,z)=x^y^zI(x,y,z)=y^(x|(~z))
在4轮循环中,F,G,H,I会交替使用,第一轮使用F,第二轮使用G,第三轮使用H,第四轮使用I。即每隔16次循环会换一个函数。
2)Mi
将每一块512位分成16等分,命名为M0~M15,每一等份长度为32位16次循环中,交替使用
3) Kj
常量数组,在64子循环中用到的常量都是不同的
4) s
左移量,每轮循环用的S各不相同,每轮总共有4个左移量,每4次循环为一周期
4.2 核心公式
总共有四个核心公式,与4个非线性函数一一对应,即每轮使用的核心公式里的公式有差异。
FF(a,b,c,d,Mi,s,Kj) :表示b+((a+F(b,c,d)+Mi+Kj)<<
四、算法实现
五、Android中的实现
1.核心算法
1.1 计算字符串的MD5值
1.2 计算文件的MD5值
2.实际应用
2.1 密码认证
密码认证估计是MD5在Android中运用最广泛的地方了。如今,正常的App都少不了注册登录的功能,而注册登录必不可少的就是密码,密码是用户在Android设备注册时需要向服务器发送密码,然后服务器将密码保存。这样就存在一种问题,如果密码以明文发送的的话,很可能在中途被恶意截取。又或者保存在服务器的密码被泄漏,也会造成很大的危害,于是为了用户的安全,一般会采用MD5对密码进行加密,然后将加密后的密码,其实就是密码的MD5值发送给服务器,这样即使MD5值泄漏,不法分子也很难得出正确的密码。而登录判定时,只需判断输入的密码的MD5值与服务器中的MD5值是否相同即可。口说无凭!我们先来看看下面微信公众平台,来证明很多平台的密码是经过MD5加密的。
微信公众平台
首先我们在微信公众平台网页端输入账号和密码
然后我们通过fiddler4爬取请求的接口,通过请求头我们可以找到username和pwd的字段,可以断定是账号和密码,接着核对账号,确认是我们刚刚输入的请求,然后核对pwd字段,结果发现是32位的字符串,我们可以断定这个32位字符串应该是MD5值,因为我们知道MD5值长度固定为128位,然后用16进制表示的话,就是32个16进制数字(128/4)
接着我们使用 Wan Android中的MD5加密工具 来验证此字符串是否为123456的MD5值。可以对比上下两张图,可以发现两者的字符串是一样的,所以我们可以断定当我们登录微信公众平台时,其密码是经过MD5加密后发送给服务器,然后服务器对比数据库中账号所对应的密码MD5值,由于不相同,所以返回了错误信息
2.2 一致性验证
一致性验证就是文件MD5值的应用,MD5加密时,将整个文件当作一个大文本信息,通过字符串变换算法,产生了唯一的MD5值。在Android中最常用的莫过于文件下载,比如首先服务器会预先给一个完整的文件提供一个MD5值,用户下载该文件后,重新计算文件的MD5值,如果相同,证明文件已经被成功的下载了。如果不相同,则证明文件下载出错或者当前文件还在下载中。在Android中使用计算文件的MD5值需要注意要将该操作放在子线程中操作,因为计算文件MD5值属于耗时操作,不能在主线程运行,否则会出现OOM的情况。
1.百度网盘的秒传
看到这估计有人会有些疑问,什么是秒传功能?不急,待我慢慢道来!
基本概念
假设现在有人分享了一个软件安全书籍的百度云链接给我们,然后我们接下来的操作就是,打开这个链接,接着我们将其保存到我们自己的网盘上,然后你会发现不管这个资源有多大,都能在几秒内保存到我们的网盘上,而这就是所谓的秒传(个人理解有错误请指出)
原理
秒传看上去很神奇,其实原理就是MD5的一致性验证。当我们成功上传资源到自己网盘时,服务器会计算这个完整文件的MD5值,然后保存在服务器上,当下一次要上传文件时,网盘首先会检测服务器是否有相同MD5值的文件,如果有的话,就直接从服务器复制到网盘上,这样就省去了上传的时间
过程
让我们重新解释下上面提到的例子:当分享人在分享软件安全书籍的资源时,一定是通过自己的百度网盘上来进行分享,这就证明该资源已经保存在服务器中,接下来我们打开了这个链接,然后点击保存时,网盘就检测到这个资源的MD5值已经存在在服务器中,所以不需要占用网络带宽,直接复制这个资源到我们的网盘上,从而实现了秒传。总体过程下图:
2.应用程序更新
也许你又纳闷了,应用程序更新为什么需要用到MD5?这是为了友好的用户体验以及安全性考虑,MD5一致性验证可以防止下载的更新APK被恶意篡改或者防止下载的APK不完整造成不良的用户体验。MD5在应用程序更新中的主要作用就是:
检验APK文件签名是否一致,防止下载被拦截和篡改检验下载文件的完整性
五、安全性
上面讲了这么多,你会发现从MD5加密本身来讲这个过程是不可逆的,但并不意味着MD5算法不可破解,破解对于MD5一致性认证没多大影响,但是对于MD5的密码认证来说是致命的。
1. 撞库破解
如果让我们猜密码,肯定会猜“123456”,生日,手机号等,而撞库的原理也就是这么简单。首先建立一个大型的数据库,然后把最常见的,有可能出现的密码,通过MD5加密成密文,并且以这些MD5值为主键加索引,将常见的密码为单列存入数据库中,并通过不断的积累,形成一个巨大的密码MD5数据库,这样当你截取到网络上密码的MD5值时,通过查询这个巨大的数据库来直接匹配MD5值,这就是所谓的撞库。这么一看撞库有点类似穷举法,所以撞库破解的概率是很低的,但也不是说不可能破解。通过下面两个网站就很容易获得原文:
2. MD5加盐
2.1 原理
MD5加密可以通过撞库来破解,因此为了防止内部人员和外部入侵者通过密码的MD5来反查密码明文,需要对密码掺入其它信息,然后算出加工后的密码的MD5值称之为MD5加盐。
2.2 加盐算法
1.账号+密码
这个加盐算法很简单,就是将当注册时将用户名和密码组合起来,然后计算其组合的MD5值作为密码发送到服务器上,这样就能增加反查的难度。但是这个加盐算法也存在问题,当应用程序提供修改用户名这一功能时,当用户名发生变化时,密码就不可用了(如果要用,就必须重新计算新的用户名和密码的MD5值然后发送给服务器,这样修改用户名,等于修改密码的功能)
2.随机数
原理
我们知道MD5加密有个特性,一个数据的MD5值永远都是一样的,也正是因为这个特性才有了MD5一致性的验证,但是也是撞库破解的一个入口。正是因为密码的MD5值永远都是一样的,所以可以根据MD5值直接从数据库中查询出密码。因此随机数算法就是给密码加入随机数然后生成新的MD5值,这样破坏这个特性,让密码的MD5值每次都是不一样的。
核心算法
流程
上面核心算法的加盐过程和验证如下图所示。
总结
MD5看似是很简单的加密算法,但是搞懂其底层实现原理并没有想象中那么容易。MD5加密算法不仅仅在安卓平台上,在其它平台上也是非常重要的一种加密算法。通过这次对MD5的学习,真的是收益匪浅,不仅仅让我对MD5有了更深的理解,并且认识到了MD5和加密算法的重要性。