魏长东

weichangdong

正在查看: 2015年06月日志归档(第 1 页 / 共 7 篇)

论成败

成败寻常事,

家人总归亲。

家人或可亲,

成败岂寻常。

POST BY MY  IPHone5S。

hadoop压缩格式

其中 打开方式 可用 

hadoop dfs -text output5/part-r-00000.deflate
hdfs dfs -text output5/part-r-00000.deflate
 
用 -text 可以查看数据
 

我们可以把数据文件压缩后再存入HDFS,以节省存储空间。但是,在使用MapReduce处理压缩文件时,必须考虑压缩文件的可分割性。目前,Hadoop支持以下几种压缩格式

 

压缩格式 UNIX工具 算       文件扩展名 支持多文件 可分割
DEFLATE DEFLATE .deflate No No
gzip gzip DEFLATE .gz No No
zip zip DEFLATE .zip YES YES
bzip bzip2 bzip2 .bz2 No YES
LZO lzop LZO .lzo No No

 

 
 
为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示
压缩格式 对应的编码/解码器
DEFLATE org.apache.hadoop.io.compress.DefaultCodec
gzip org.apache.hadoop.io.compress.GzipCodec
bzip org.apache.hadoop.io.compress.BZipCodec
Snappy org.apache.hadoop.io.compress.SnappyCodec

MongoDB基本使用

成功启动MongoDB后,再打开一个命令行窗口输入mongo,就可以进行数据库的一些操作。

输入help可以看到基本操作命令:

show dbs:显示数据库列表 
show collections:显示当前数据库中的集合(类似关系数据库中的表) 
show users:显示用户

use <db name>:切换当前数据库,这和MS-SQL里面的意思一样 
db.help():显示数据库操作命令,里面有很多的命令 
db.foo.help():显示集合操作命令,同样有很多的命令,foo指的是当前数据库下,一个叫foo的集合,并非真正意义上的命令 
db.foo.find():对于当前数据库中的foo集合进行数据查找(由于没有条件,会列出所有数据) 
db.foo.find( { a : 1 } ):对于当前数据库中的foo集合进行查找,条件是数据中有一个属性叫a,且a的值为1

MongoDB没有创建数据库的命令,但有类似的命令。

如:如果你想创建一个“myTest”的数据库,先运行use myTest命令,之后就做一些操作(如:db.createCollection('user')),这样就可以创建一个名叫“myTest”的数据库。

»»阅读全文

ExtJs开发教程Ext.data.Store使用方法详解

今天借到一个新任务,看到页面好多

var softTypeComboxDataSearch = Ext.create('Ext.data.Store',{
			fields:['value','text'],
			data:[{'value':"",'text':"无限制"}, {'value':1,'text':'游戏'},
{'value':2,'text':'视频'},{'value':3,'text':'阅读'},{'value':4,'text':'广告插件'},
{'value':5,'text':'聊天通信'},{'value':6,'text':'地图导航'},{'value':7,'text':'音乐'},
{'value':8,'text':'其他常用软件'},{'value':9,'text':'通讯录'},{'value':10,'text':'通用目录'},
{'value':11,'text':'购物'},{'value':12,'text':'支付'},{'value':13,'text':'拍照美图'},
{'value':14,'text':'新闻资讯'},{'value':15,'text':'专有APP'},{'value':16,'text':'购物隐私'}]	
		});

这种的代码,搜了下,发现了好的教程,记录下。

»»阅读全文

MongoDB高级查询

show dbs;

 show collections;

 db.stats();

 db.clear_info.stats();

 db.clear_info.findOne({"soft_type":8});

 db.clear_info.find({"soft_type":8}).limit(1);

这四个就不用解释了,最常用的,也是最简单的。

db.collection.find({ "field" : { $gt: value } } )   // 大于  : field > value

db.collection.find({ "field" : { $lt: value } } )   // 小于  :  field < value

db.collection.find({ "field" : { $gte: value } } )  // 大于等于 : field >= value

db.collection.find({ "field" : { $lte: value } } )  // 小于等于 : field <= value

如果要同时满足多个条件,记得要这样用:

»»阅读全文

mongodb索引

索引是用来加快查询速度的,事物都有双面性的,同时在每次插入、更新和删除操作时都会产生额外的开销。索引有时并不能解决查询慢的问题,一般来说,返回集合中一半以上的结果,全表扫描要比查询索引更高效些。
创建太多索引,会导致插入非常慢,同时还会占用很大空间。可以通过explain和hint工具来分析。
索引有方向的,倒序还是升序。
每个集合默认的最大索引个数为64个。

1. 查看索引

»»阅读全文

Nginx常用日志分割方法

方式一:
nginx cronolog日志分割配置文档,根据下面方法,每分钟分割一次NGINX访问日志。

1.nginx日志配置
 access_log access_log /data/access_log_pipe main;
2.先创建一个命名管道
mkfifo /www/log/access_log_pipe
3.配置cronolog:
nohup cat /data/access_log_pipe | /usr/local/sbin/cronolog /data/log/domain.access_%Y%m%d%H%M.log &
4.启动Nginx
/usr/local/nginx/sbin/nginx

»»阅读全文