|
|
河南T网科技三月特惠BGP独享云主机，续费同价，固定独享ip。
支持搭建socks5,http代理ip，挂协议，游戏挂机，加速。支持做网站，速度快，稳定。
2H1G 1M 80G BGP 原价49/月 优惠价25/月
4H4G 5M 80G BGP 原价129/月 优惠价65/月
4H8G 6M 120G BGP 原价199/月 优惠价105/月
业务明确，注册实名认证后可先测试机器。
联系人：李彬
QQ：177679886
手机：17537122093
微信：同手机号
官网：www.tttidc.com
联系地址：郑州市金水区花园路居易摩根中心2704
Gzip , BZip2 , Lzo Snappy 四种方式的优缺点 和使用场景
Gzip
优点
1.压缩解压速度快,压缩率高 , hadoop本身支持
2.处理压缩文件时方便,和处理文本一样
3.大部分linux 系统自带 Gzip 命令 , 使用方便
缺点
1.不支持切片
2.使用场景
3.文件压缩后在130M以内 (一个块大小) , 都可以使用 GZip 压缩(因为Gzip唯一的缺点是不能切片)
总结 : 不需要切片的情况下 可以使用
BZip2
优点
1.压缩率高(高于Gzip)
2.可以切片
3.hadoop自带 使用方便
缺点
压缩解压速度超级慢
使用场景
1.不要求压缩速率 ,但是对压缩率有要求的情况下 比如备份历史记录 , 备份文件
2.或者 输出的文件较大 , 处理后的数据需要减少磁盘存储并且以后使用数据的情况较少 (解压 / 压缩的情况较少)
3.对于单个文件 较大 ,又想压缩减少磁盘空间 , 并且兼容之前的应用程序的情况
4.总结 : 对于压缩解压速度没有要求的情况下
?
Lzo
优
点
压
1.缩解压速度比较快 , 压缩率也可以
2.支持切片 是hadoop 比较流行的压缩格式
3.
可以在linux 下安装 lzo命令 使用方便
缺点
1.压缩率比Gzip低一些
2.
hadoop 本身不支持, 需要自己安装
使用Lzo
3.格式的文件时需要做一些特殊处理(为了支持 Split 需要建立索引 , 还需要家将 InputFormat 指定为Lzo 格式[特殊]使用场景
1.压缩以后还大于 200M 的文件 , 且文件越大 Lzo 的优势越明显
2.(原因很简单 , 四种压缩方式 只有BZip2 , Lzo支持切片 , 然后 BZip2 速度贼慢 , 只能用于特定的场景, 所以 Lzo 是比较经常用的 )
3.总结 : 压缩后文件还是比较大 需要切片的情况下 推荐使用
?
Snappy
优点
1.高压缩解压速度 , 压缩率还可以
缺点
1.不能切片
2.压缩率比Gzip小
3.
hadoop本身不支持 需要安装
使用场景
1.当Mapeduce的Map阶段输出的数据比较大的时候 , 作为Map到Reduce的中间数据的压缩格式
2.作为一个MapReduce作业的输出和另一个MapReduce的输入
3.总结 : 因为 压缩率不怎么样 还不能切片 , 所以在一般的作为输入文件压缩时可以用 GZip 和 Lzo 都比Snappy效率要高但是它的压缩解压速度比较快 所以比较适合用于 Map->Reduce 作为中间数据的压缩格式 |
|
