Graylog2+mongdb+rsyslog中央日志服务器对syslog的web管理–转载

原文地址：http://blog.sina.com.cn/s/blog_49be4d570100yvv1.html

1、下载mongodb，可以通过下面2中方法安装。

（1）官网下载yum源后直接安装或下载tar包进行安装。http://www.mongodb.org/ 。

（2）通过EPEL（企业linux额外软件包）安装。http://fedoraproject.org/wiki/EPEL 。

方便起见，这里选择用yum源直接安装。

<1>在*.repo中加入

————————————————————————————-

[10gen]

name=10gen Repository

baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/i686

gpgcheck=0

————————————————————————————-

<2>yum install mongo-10gen-server

2、启动、配置mongodb

<1>vi /etc/mongod.conf

————————————————————————————-

port = 27017 #运行端口27017

auth = true #开启认证

nohttpinterface = false

————————————————————————————-

<2>/etc/init.d/mongod start

<3>mongo

>use graylog2

>db.addUser(“login”,”passwd”) #graylog2库的user，graylog2这个user和mongo相连

>db.auth(“login”,”passwd”) #打开认证

>db.system.users.find() #查看存在的用户

>exit

<4>/etc/init.d/mongod restart #mongodb默认是开机自启动的

用ps aux | grep mongo查看是否存在进程；

用tail -f /var/log/mongo/mongod.log跟踪mongodb信息。

3、下载graylog2-server（需要JAVA环境）

为方便起见，我们使用系统自带的openjdk

<1>yum, install java-1.6.0-openjdk

<2>tar zxvf graylog2-server-0.9.5p1.tar.gz -C /opt

<3>cd /opt; ln -s graylog2-server-0.9.5p1 graylog2

<4>cd graylog2; cp graylog2.conf.example /etc/graylog2.conf

4、配置、启动graylog2-server，连接mongodb。

<1>vi /etc/graylog2.conf

——————————————————————————————-

# On which port (UDP) should we listen for Syslog messages? (Standard: 514)

syslog_listen_port = 514

syslog_protocol = udp

# MongoDB Configuration

mongodb_useauth = true

mongodb_user = login

mongodb_password = passwd

mongodb_host = localhost

#mongodb_replica_set = localhost:27017,localhost:27018,localhost:27019

mongodb_database = graylog2

mongodb_port = 27017

——————————————————————————————-

<2>cd /opt/graylog2/bin

<3>./graylog2ctl start

(注：其log日志就存在当前目录下的nohup.out中。后面会修改并放入/var/log/下，这样便于日志管理，排错)

<4>./graylog2ctl stop

<5>vi /etc/init.d/graylog2-server（仿照graylog2ctl写此脚本）

——————————————————————————————-

#!/bin/sh

# graylog2-server: graylog2 message collector

# chkconfig: – 98 02

# description: This daemon listens for syslog and GELF messages and stores them in mongodb

CMD=$1

NOHUP=`which nohup`

#JAVA_HOME=/usr/java/latest

#JAVA_CMD=$JAVA_HOME/bin/java

GRAYLOG2_SERVER_HOME=/opt/graylog2

start() {

echo “Starting graylog2-server …”

$NOHUP java -jar $GRAYLOG2_SERVER_HOME/graylog2-server.jar > /var/log/graylog2.log 2>&1 &

}

stop() {

PID=`cat /tmp/graylog2.pid`

echo “Stopping graylog2-server ($PID) …”

kill $PID

}

restart() {

echo “Restarting graylog2-server …”

stop

start

}

case “$CMD” in

start)

start

;;

stop)

stop

;;

restart)

restart

;;

echo “Usage $0 {start|stop|restart}”

RETVAL=1

esac

——————————————————————————————-

<6>chmod +x /etc/init.d/graylog2-server

<7>chkconfig –add graylog2-server

<8>chkconfig graylog2-server on

<9>/etc/init.d/graylog2-server start

此时，日志就存在了/var/log/graylog2.log。

用“ps aux | grep graylog2”查看是否存在java -jar ../graylog2-server.jar这个进程。

用cat /var/log/graylog2.log查看是否有错误信息。（这里首先要注意主机的域名解析问题，再然后是可能会报错，说514端口没有权限，可以先暂时不管它，后面会处理这个问题）

当然在mongodb中用db.messages.find()命令查看graylog2库的messages表，这时应该已经插入了这个关于514端口没有权限的错误日志信息。

5、下载、配置graylog2-web-interface需要的RUBY环境

<1>先卸载旧版本的ruby（它不支持graylog2）

yum erase/remove ruby ruby-libs ruby-mode ruby-rdoc ruby-irb ruby-ri ruby-docs

<2>yum install gcc gcc-c++ openssl-devel zlib-devel autoconf readline-devel curl-devel expat-devel gettext-devel

<3>下载新的ruby。http://www.ruby-lang.org/en/downloads/ 。

tar jxvf ruby-1.9.2-p0.tar.bz2

<4>cd ruby-1.9.2-p0

<5>./configure -enable-shared -enable-pthread -prefix=/usr

<6>make

<7>make install

注：Ruby1.9.2以上包含了rubygems

<8>ruby -v 查看到rybu版本号1.9.2p0

<9>gem -v 查看到1.3.7

由<8><9>两步的测试结果，说明ruby安装成功。

<10>gem update

<11>gem install rake

6、下载、配置graylog2-web-interface

<1>tar zxvf graylog2-web-interface-0.9.5p2.tar.gz -C /opt

<2>cd /opt; ln -s graylog2-web-interface-0.9.5p2 graylog2-web-interface;

useradd -m graylog;chown -R graylog /opt/graylog2-web-interface-0.9.5p2

<3>cd graylog2-web-interface

<4>gem install bundler

<5>bundle install

<6>Edit all ./config/*.yml。这里可以先只编辑mongoid.yml

vi /opt/graylog2-web-interface/config/mongoid.yml

——————————————————————————————–

production:

host: localhost #注意从此行起，前面不能顶格，有2个空格

port: 27017

database: graylog2

username: login

password: passwd

——————————————————————————————–

<7>RAILS_ENV=production script/rails server

访问http://127.0.0.1:3000测试，若出现页面让你创建第一个用户，则成功。

<8>按Ctrl C，结束它。

<9>gem install passenger #下载后，用passenger管理控制graylog2-web

<10>gem install file-tail

<11>chmod -R 777 tmp log

<12>passenger start

Passenger自动下载、配置、组建好一切所需要的东西后，按Ctrl C，结束它。

<13> vi /etc/init.d/graylog2-web-interface (原本是没有这个文件的)

——————————————————————————————-

#!/bin/bash

# graylog2-web-interface: graylog2 web interface

# chkconfig: – 98 02

# description: Starts graylog2-web-interface using passenger-standalone.

USER=graylog

APP_DIR=/opt/graylog2-web-interface

ADDR=127.0.0.1

PORT=3000

ENVIRONMENT=production

#LOG_FILE=/var/log/graylog2-web-interface.log

CMD_START=”cd $APP_DIR; passenger start -d \

-a $ADDR \

-p $PORT \

-e $ENVIRONMENT \

–user $USER”

CMD_STOP=”cd $APP_DIR; passenger stop -p $PORT”

CMD_STATUS=”cd $APP_DIR; passenger status -p $PORT”

. /lib/lsb/init-functions

case “$1” in

start)

echo “Starting graylog2-web-interface”

su – $USER -c “$CMD_START”

;;

stop)

echo “Stopping graylog2-web-interface”

su – $USER -c “$CMD_STOP”

;;

status)

su – $USER -c “$CMD_STATUS”

;;

echo “Usage: $0 start|stop|status” >&2

exit 3

;;

esac

——————————————————————————————-

<14>chmod +x /etc/init.d/graylog2-web-interface

<15>chkconfig –add graylog2-web-interface

<16>chkconfig graylog2-web-interface on

<17>/etc/init.d/graylog2-web-interface start

访问http://127.0.0.1:3000，看！出现页面让你创建第一个用户！搞定！

在这里你先创建你的first user（我的是admin、adminpasswd，记得填个Email），然后就可以用刚创建的user进入web界面了。

7、用ryslog代替本机syslog，使graylog2正常开启、运行

此时，你的graylog2服务器还没有真正搭建好，日志并不能被收集进mongodb中存储，并通过graylog2-web页面显示出来。你会发现web上会一直报告错误说你的graylog2 server好像没有运行，通过个log信息可以知道是原因是graylog2（server）对514端口没有权限。这个也就是我们之前遗留下来的问题。

解决办法如下：

<1>yum install rsyslog

<2>vi /etc/sysconfig/rsyslog

—————————————————————————————-

SYSLOGD_OPTIONS=”-m 0 -r10514″

—————————————————————————————-

<3> vi /etc/rsyslog.conf

—————————————————————————————-

*.* @127.0.0.1:514

—————————————————————————————-

<4>/etc/init.d/syslog stop

<5>chkconfig syslog off