2015年三月月 发布的文章

日志分析工具Awstats,切割分析Nginx日志

环境:

本教程所用软件已全部打包在本文最底部
CentOS 6.4
ip:192.168.1.104
域名:www.sunsky.com(server和client都通过hosts文件解析)
nginx-1.2.9 编译安装,路径/usr/local/nginx,服务开启状态
日志记录格式为nginx默认的,切勿更改,否则会造成awstats无法分析日志。 阅读剩余部分 –

gearman 任务分发 安装&扩展

一. 安装依赖环境

yum install vim wget gcc gcc-c++ make dos2unix gperf libevent 
libevent-devel zlib-devel bzip2-devel openssl-devel ncurses-devel boost 
boost-devel mysql-devel libuuid-devel gperf -y 

二. 安装

wget https://launchpadlibrarian.net/165674261/gearmand-1.1.12.tar.gz
# tar -zxvf gearmand-1.1.12.tar.gz
# cd gearmand-1.1.12
# ./configure
make && make install
ldconfig #重新加载库文件
#创建日志文件夹
mkdir -p /usr/local/var/log
#创建日志文件
touch /usr/local/var/log/gearmand.log
#启动JOB Server
gearmand -d -u root #当前用户位root时使用-u root

三. 安装PHP扩展

# wget http://pecl.php.net/get/gearman
# mv gearman gearman.tar.gz
# tar -zxvf gearman.tar.gz
# cd gearman-1.1.2/
# /usr/local/php/bin/phpize
# ./configure —with-php-config=/usr/local/php/bin/php-config
# make
# make install
将扩展添加到PHP配置文件中
echo "extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/gearman.so" 
>> /usr/local/php/etc/php.ini
# service httpd restart

centos FFmpeg转换音视频格式+ffmpeg-php扩展安装

1、安装依赖环境软件

yum install automake autoconf libtool gcc gcc-c++ -y

2、安装第三方更新源

rpm -ivh http://apt.sw.be/redhat/el6/en/i386/rpmforge/RPMS/rpmforge-release-0.5.3-1.el6.rf.i686.rpm

3、安装ffmpeg

yum install ffmpeg ffmpeg-devel mencoder mplayer flvtool2

4. 安装ffmpeg-php
下载ffmpeg-php

http://sourceforge.net/projects/ffmpeg-php/files/OldFiles/ffmpeg-php-0.6.2.tbz2/download

解压缩

tar jxvf ffmpeg-php-0.6.2.bz2
cd ffmpeg-php-0.6.2
/usr/locla/php/bin/phpize
./configure —with-php-config=/usr/locla/php/bin/php-config
make && make install

将扩展加入到php.ini文件

vim /usr/local/php/etc/php.ini

在最后加入

[ffmpeg]
extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/ffmpeg.so

然后重启apache
完成!
转换音频

ffmpeg -i a.wav a.mp3

转换视频

ffmpeg -i test.flv -y -ab 720 -ar 22050 -qscale 10 -s 640*480 -r 15 test.mp4

参数说明
-i 是 要转换文件名
-y是 覆盖输出文件
-ab 是 音频数据流,大家在百度听歌的时候应该都可以看到 128 64
-ar 是 声音的频率 22050 基本都是这个。
-qscale 是视频输出质量,后边的值越小质量越高,但是输出文件就越“肥”
-s 是输出 文件的尺寸大小!
-r 是 播放侦数。

用OpenOffice+ jodconverter将office文档转换为PDF文档

1.安装前首先执行yum update -y 更新到最新, 否则安装jdk时jre字体不会安装

2.卸载系统自带java

yum remove java -y

3.下载java

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

mkdir /usr/java

cd /usr/java

rpm -ivh jdk-7u75-linux-x64.rpm

然后配置环境变量输入如下命令,进入配置文件。

[root@localhost java]# vi /etc/profile
在文件中加入

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
export JAVA_HOME=/usr/java/jdk1.7.0_60
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

让环境变量生效。

执行配置文件,令其立刻生效,输入如下命令:

[root@localhost java]# source /etc/profile

查看当前java安装的版本
[root@localhost java]# java -version
java version “1.7.0_60″
Java(TM) SE Runtime Environment (build 1.7.0_60-b19)
Java HotSpot(TM) 64-Bit Server VM (build 24.60-b09, mixed mode)

  1. 下载openoffice

wget http://softlayer-sng.dl.sourceforge.net/project/openofficeorg.mirror/4.1.1/binaries/zh-CN/Apache_OpenOffice_4.1.1_Linux_x86-64_install-rpm_zh-CN.tar.gz

安装openoffice

tar zxvf Apache_OpenOffice_4.1.1_Linux_x86-64_install-rpm_zh-CN.tar.gz

cd zh-CN/RPEM

rpm -ivh *.rpm ―nodeps ―force

安装后的默认目录是在:/opt/目录下面

  1. 启动服务

/opt/openoffice4/program/soffice -headless -accept=”socket,host=127.0.0.1,port=8100;urp;” -nofirststartwizard &

安装office-SDK

下载

wget https://archive.apache.org/dist/openoffice/4.1.0/binaries/SDK/Apache_OpenOffice-SDK_4.1.0_Linux_x86-64_install-rpm_en-US.tar.gz

 

tar zxvf Apache_OpenOffice-SDK_4.1.0_Linux_x86-64_install-rpm_en-US.tar.gz

 

cd en-US/RPMS/

rpm -ivh *.rpm

 

安装jodconverter.2.2.2 ,安装了这个之后就已经可以实现DOC转PDF了。

这个安装很简单,直接上网站下一个这个东东回来。

解压,复制到一个目录里面去,就能直接用了,调用它里面的/lib/jodconverter-cli-2.2.2.jar这个玩意儿就行,可以直接运行命令测试:

 

java -jar /usr/local/wenku/jodconverter-2.2.2/lib/jodconverter-cli-2.2.2.jar /tmp/1.doc /tmp/1.pdf

转换命令

java -jar /usr/local/jodconverter-2.2.2/lib/jodconverter-cli-2.2.2.jar /a.doc /a.pdf

注:如果文档转换后中文无法显示或乱码,这是由于centos安装时采取最小化安装造成的,只需找个完整安装的服务器,将/usr/share/fonts 文件夹下的字体复制到相应服务器然后重启服务器即可,

如果完成上述操作后中文有乱码,请在windows系统中 c:/windows/font/目录下的所有字体复制到 /usr/share/fonts/目录下 ,重启服务器即可

MySQL主从服务器配置

主服务器 IP:192.168.1.138

从服务器IP:192.168.1.137

1、打开主服务器的mysql 配置文件

2、找到[mysqld]节点,添加或修改成以下内容。

server-id=1 #服务器ID
log-bin=mysql-bin01
binlog-do-db=leonis #这里设置需要在主服务器记录日志的数据库,只有在这里设置了的数据库才能被复制到从服务器
binlog-ignore-db=mysql #这里设置在主服务器上不记度日志的数据库
expire_logs_days=10

3、进入主服务器的mysql控制台,执行 FLUSH TABLES WITH READ LOCK;锁定现有数据库,再执行show master status;记录File和Position项目的值.

952334

4、执行 SHOW VARIABLES LIKE “%log_bin%”;  查看主服务器的binlog是否开启。 log_bin 这项 为 ON 的话就表示已开启。

936136

 

然后把数据库的锁定打开 UNLOCK TABLES;

5、在主服务器上创建从服务器使用的帐号并给予相应的权限(主要是replication slave权限),为避免配置过程中出现问题,可以也给予 reload,super权限,配好后再跟据实际情况取消。

grant replication slave, reload, super on *.* to ‘backup’@’192.168.0.1’ identified by ‘123456’; #backup是用户名,123456是密码

6、至此主服务器已设置完成。

7、接下来打开从服务器的mysql配置文件。在[mysqld]节点下,添加或修改成。

server-id=2
log-bin=mysql-bin02
replicate-do-db=leonis
replicate-ignore-db=mysql
expire_logs_days=10

#下面的配置只在mysql 5.1.7 之前的版本才有效。

master-host=192.168.1.138
master-user=root
master-password=leonis
master-port=3306

8、如果你是mysql 5.1.7之后版本的话,要进入从服务器的mysql控制台,使用命令设置。

change master to
master_host=‘192.168.1.138′,
master_user=’root’,
master_password=‘leonis’,
master_log_file=’mysql-bin01.000008′,  #此处填写主服务器的日志文件名,文章上方主服务状态信息中的File的值,上面已用红色强调。
master_log_pos=197; #此处填写主服务器日志文件记录的位置,文章上方主服务状态信息中的Position的值,上面已用红色强调。

9、执行上面命令后,再执行start slave,用启动从服务器模式。

10、可以使用 show processlist 查看进程,进程状态如和下方内容一样的话,说明从服务器运行正常,已经连接上主服务器,开始接受并执行日志。

127859

11、然后最好重启一下从服务器的MySQL。

12、在从服务器的MySQL控制台,使用show slave status; 命令,查看从服务器的运行状态。显示结果中以下两项都为Yes的话,那说明正常。

  1. Slave_IO_Running: Yes
  2. Slave_SQL_Running: Yes

13、在主服务器上leonis数据库创建表,写入数据,然后到从服务器上查看leonis数据库有没有进行同步。

Linux下rsync+sersync实现实时同步数据

rsync+sersync做实时同步时,用于推送文件的服务器运行sersync服务,用于接受文件的服务器则运行rsync守护进程

sersync会利用rsync命令将文件推送到rsync服务器, sersync坐位住服务器,rsync坐位景象u服务器,实现数据同步备份,web镜像等功能
rsync   服务器IP:192.168.1.137
sersync服务器IP:192,168.1.138
使用sersync之前,必须先配置好rsync服务器
配置rsync 接收端
1. 安装rsync
yum install rsync -y
yum install xinetd -y
2. 启动rsync依赖服务并加入到开机启动项
service xinetd start
chkconfig xinetd on
3.配置:
uid = root
gid = root
use chroot = no
max connections = 10
strict modes = yes
port = 873
address = 192.168.1.137
[data] # rsync模块名,后面配置sersync会用到
path = /data  # 该同步目录只要uid所指定的用户有写权限即可
comment = mirror for leonis
ignore errors
read only = on
list = no
auth users = user
secrets file = /etc/rsync.pas # 密码认证文件,必须为600权限,否则rsync传输会报错
host allow = *
#host deny = 0.0.0.0/0
pid file = /var/run/rsync.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsync.log
4.创建同步目录
mkdir /data
5.配置认证文件
echo “user:123456” > /etc/rsync.pas
chmod 666 /etc/rsync.pas
rsync –daemon –config=/etc/rsyncd.conf
6.重启xinetd使其配置生肖
service xinetd restart
7.设置开机启动
echo ”rsync —daemon —config=/etc/rsyncd.conf” >>/etc/rc.local
配置sersync 推送端
安装rsync
vi /etc/xinetd.d/rsync #编辑配置文件,设置开机启动rsync
disable = no #修改为no
创建认证密码文件
touch /etc/rsync.pas
echi “123456” >> /etc/rsync.pas
chomod 600 /etc/rsync.pas
mkdir /data/leonis  #在源服务器上创建测试文件夹,然后在源服务器运行下面2行命令
rsync -avH –port=873 –progress –delete/data/root@192.168.21.127::data –password-file=/etc/rsync.pas
运行完成后,查看接收端服务器,192,168.1.137, 如果在data目录下leonis文件夹存在,说明数据同步正常
安装sersync工具,实时触发rsync进行同步
1.下载sersync源码包
2.创建sersync目录结构
mkdir /usr/local/sersync
mkdir /usr/local/sersync/conf
mkdir /usr/local/sersync/bin
mkdir /usr/local/sersync/log
tar zxvf sersync2.5_64bit_binary_stable_final.tar.gz
cd GNU-Linux-x64
cp confxml.xml /usr/local/sersync/conf
cp sersync2 /usr/local/sersync/bin
3.配置confxml.xml

# cd /usr/local/sersync/conf

# vi confxml.xml

按照注释进行修改

—————————–

<?xml version=”1.0″ encoding=”ISO-8859-1″?>

<head version=”2.5″>

# 设置本地IP和端口

<host hostip=”localhost” port=”8008″></host>

# 开启DUBUG模式

<debug start=”false”/>

# 开启xfs文件系统

<fileSystem xfs=”false”/>

# 同步时忽略推送的文件(正则表达式),默认关闭

<filter start=”false”>

<exclude expression=”(.*)\.svn”></exclude>

<exclude expression=”(.*)\.gz”></exclude>

<exclude expression=”^info/*”></exclude>

<exclude expression=”^static/*”></exclude>

</filter>

<inotify>

# 设置要监控的事件

<delete start=”true”/>

<createFolder start=”true”/>

<createFile start=”true”/>

<closeWrite start=”true”/>

<moveFrom start=”true”/>

<moveTo start=”true”/>

<attrib start=”true”/>

<modify start=”true”/>

</inotify>

<sersync>

# 本地同步的目录路径

<localpath watch=”/data”>

# 远程IP和rsync模块名

<remote ip=”192.168.100.29″ name=”data”/>

<!–<remote ip=”192.168.8.39″ name=”tongbu”/>–>

<!–<remote ip=”192.168.8.40″ name=”tongbu”/>–>

</localpath>

<rsync>

# rsync指令参数

<commonParams params=”-auvzP”/>

# rsync同步认证

<auth start=”true” users=”user” passwordfile=”/etc/rsync.pas”/>

# 设置rsync远程服务端口,远程非默认端口则需打开自定义

<userDefinedPort start=”false” port=”874″/><!– port=874 –>

# 设置超时时间

<timeout start=”true” time=”100″/><!– timeout=100 –>

# 设置rsync+ssh加密传输模式,默认关闭,开启需设置SSH加密证书

<ssh start=”false”/>

</rsync>

# sersync传输失败日志脚本路径,每隔60会重新执行该脚本,执行完毕会自动清空。

<failLog path=”/usr/local/sersync/log/rsync_fail_log.sh” timeToExecute=”60″/><!–default every 60mins execute once–>

# 设置rsync+crontab定时传输,默认关闭

<crontab start=”false” schedule=”600″><!–600mins–>

<crontabfilter start=”false”>

<exclude expression=”*.php”></exclude>

<exclude expression=”info/*”></exclude>

</crontabfilter>

</crontab>

# 设置sersync传输后调用name指定的插件脚本,默认关闭

<plugin start=”false” name=”command”/>

</sersync>

# 插件脚本范例

<plugin name=”command”>

<param prefix=”/bin/sh” suffix=”” ignoreError=”true”/>  <!–prefix /opt/tongbu/mmm.sh suffix–>

<filter start=”false”>

<include expression=”(.*)\.php”/>

<include expression=”(.*)\.sh”/>

</filter>

</plugin>

# 插件脚本范例

<plugin name=”socket”>

<localpath watch=”/opt/tongbu”>

<deshost ip=”192.168.138.20″ port=”8009″/>

</localpath>

</plugin>

<plugin name=”refreshCDN”>

<localpath watch=”/data0/htdocs/cms.xoyo.com/site/”>

<cdninfo domainname=”ccms.chinacache.com” port=”80″ username=”xxxx” passwd=”xxxx”/>

<sendurl base=”http://pic.xoyo.com/cms”/>

<regexurl regex=”false” match=”cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images”/>

</localpath>

</plugin>

</head>

4.创建推送端sersync同步目录
# mkdir /data
5.设置环境变量:

# echo “export PATH=$PATH:/usr/local/sersync/bin/” >> /etc/profile

# source /etc/profile

6.启动sersync

# sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml

注:重启操作如下:

# killall sersync2 && sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml

7.设置开机启动

# echo “sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml” >> /etc/rc.local