魏长东

weichangdong

东邪

正在查看: linux 分类下的文章(第 5 页 / 共 77 篇)

hadoop压缩格式

其中 打开方式 可用 

hadoop dfs -text output5/part-r-00000.deflate
hdfs dfs -text output5/part-r-00000.deflate
 
用 -text 可以查看数据
 

我们可以把数据文件压缩后再存入HDFS,以节省存储空间。但是,在使用MapReduce处理压缩文件时,必须考虑压缩文件的可分割性。目前,Hadoop支持以下几种压缩格式

 

压缩格式 UNIX工具 算       文件扩展名 支持多文件 可分割
DEFLATE DEFLATE .deflate No No
gzip gzip DEFLATE .gz No No
zip zip DEFLATE .zip YES YES
bzip bzip2 bzip2 .bz2 No YES
LZO lzop LZO .lzo No No

 

 
 
为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示
压缩格式 对应的编码/解码器
DEFLATE org.apache.hadoop.io.compress.DefaultCodec
gzip org.apache.hadoop.io.compress.GzipCodec
bzip org.apache.hadoop.io.compress.BZipCodec
Snappy org.apache.hadoop.io.compress.SnappyCodec

linux时区

1.tzselect                                                                 //回车后会有选项提示

2.timeconfig                                                            //回车后会有选项界面(限于CentOS、Fedora系统)

3.TZ='Asia/Shanghai';export TZ                        //设置时区,并即时生效,'Asia/Shanghai'指亚洲的上海的时间(CST),其它的例如'Europe/London'英国伦敦时间(GMT,格林威治时间)

4.hwclock -w                                                           //保存时区设置使之重启系统后仍生效(就是写入系统bios)。

其它:

5.linux时区配置查寻文件

/etc/sysconfig/clock                                               //由/etc/localtime定义而成?

6.linux时区配置文件

/etc/localtime                                                             //修改该文件的方法是拷贝/usr/share/zoneinfo下的相应时区文件覆盖之(想把系统时区设置为哪个时区就把/usr/share /zoneinfo下对应的时区文件拷贝为/etc/localtime)

»»阅读全文

hive array、map、struct使用

hive提供了复合数据类型:
Structs: structs内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a INT; b INT},我们可以通过c.a来访问域a
Maps(K-V对):访问指定域可以通过["指定域名称"]进行,例如,一个Map M包含了一个group-》gid的kv对,gid的值可以通过M['group']来获取
Arrays:array中的数据为相同类型,例如,假如array A中元素['a','b','c'],则A[1]的值为'b'

数据源

[root@swordman ~]# cat test5.txt
1,zhou:30  
2,yan:30  
3,chen:20  
4,li:80 
[root@swordman ~]# cat test6.txt
034,1:2:3:4
035,5:6
036,7:8:9:10
[root@swordman ~]# cat test7.txt
1	job:80,team:60,person:70
2	job:60,team:80
3	job:90,team:70,person:100

»»阅读全文

查看hive和hadoop的版本

hadoop -version 执行这个命令看hadoop版本
java version "1.7.0"

Java(TM) SE Runtime Environment (build 1.7.0-b147)

Java HotSpot(TM) 64-Bit Server VM (build 21.0-b17, mixed mode)

 

但是hive就没有这么直接,需要找到hive的安装目录的lib文件目录,然后ls下。

hive-version11.png

Linux下再配置nginx和php

再次安装nginx和php-fpm,并架设网站。网站使用的CI框架的,域名是自己配置hosts访问的。

遇到的好多问题:

1是访问必须加index.php,否则根本定位不到网站目录上。

2是css,js,img资源无法访问。http://commonlogin.mobimagic.com/application/views/admin/styles/typecho.source.css这样的格式,居然没法访问,别的js和img都是一样的状况。

3.这种url没法访问,http://commonlogin.mobimagic.com/index.php/dashboard不能访问。

最后都一一解决了。

»»阅读全文

Linux下配置svn服务端

工作需要在Linux上安装svn,但是申请的机器已经装了svn了,就只需要自己配置了。

代码库创建

SVN软件安装完成后还需要建立SVN
[root@localhost modules]#mkdir -p /opt/svn/             #
创建SVN根目录
[root@localhost modules]#svnadmin create /opt/svn/repo         #
创建repo测试库
执行上面的命令后,自动建立repo测试库,查看/opt/svn/repo 文件夹发现包含了conf, db,format,hooks, locks, README.txt等文件,说明一个SVN库已经建立。

»»阅读全文

虚拟机下linux用yum装nginx

centos下本来是不可以用yum直接安装nginx的,是因为没有yum源,但是可以自己手动添加yum源。

vim /etc/yum.repos.d/nginx.repo
 
写入下列信息,
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/OS/OSRELEASE/$basearch/
gpgcheck=0
enabled=1 
将OS替换成您的系统信息例如: centos、rhel
将OSRELEASE替换成您的系统版本,例如:5、6
我的地址是http://nginx.org/packages/centos/6/$basearch/
然后运行
yum install nginx
就OK.

虚拟机遇到的几个问题

问题1:刚刚通过win的xshell连接上了我的虚拟机,但是突然就自己断了。

解决:去虚拟机Linux看了下,ifconfig,居然没有分配到ip。然后在win下运行services.msc打开了两个服务(并设置成自动启动),然后Linux下运行service network restart,然后看已经有ip了,而且也能连得上了。

vm-1.png

问题2:虚拟机老师出现INIT:id"x"respawning too fast : disabled for 5 minutes。

解决办法:/etc/inittab 吧里面的id:5:initdefault:修改成id:3:initdefault:

出现这个问题的原因可能是我的界面模式哪里有问题,只能启动命令行模式。反正我也不用界面模式,刚好改成命令行启动。

删文件小技巧:中间用rz sz传文件到虚拟机(通过xshell),穿了一些乱码文件名字,咋删删不掉。rm -rf *也不行,最后才知道,文件名字包含有‘-’符号,通过这个命令可以搞定他。rm -- -f 文件名。

Linux下装hive之最后装hive

下载apache-hive-1.0.0-bin.tar.gz

cd /usr/hive

[root@db96 local]# tar -zxvf apache-hive-1.0.0-bin.tar.gz

 

# add by wcd for hive

export PATH=$PATH:/usr/hive/apache-hive-1.0.0-bin/bin

HADOOP_HOME=/usr/

export HADOOP_HOME PATH

»»阅读全文

Linux下装hive之再装Hadoop

申明:我是按照以下流程装成功的,但是版本选择的不一样。

一、安装hadoop

1 因为hadoop是基于java的,所以要保证hadoop能找到在本地系统中大路径,即正确设置java的环境变量。

 

2 到官网:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 下载hadoop,

这里我选择hadoop1.0.4

»»阅读全文