이 포스트를 보낸곳 ()

저자: GnomeRnD 기술연구소 소장 임영규

1. 서론

레드햇 리눅스를 이용하여 LVS를 만드는 방법과 구현에 대하여 본 연구결과를 발표한다. 많은 방법으로 LVS를 구현할 수 있지만 레드햇 리눅스 어드밴스 서버2.1이 제공하는 피라나(Piranha)툴을 이용하여 NAT를 구현하였다. 여기에서는 실제서버(이하, 리얼서버)가 하나뿐인 관계로 하나의 컴퓨터에 DNS를 설치하고 리얼 서버로 사용하는 컴퓨터는 아파치의 가상 웹 호스터 방식의 가상 IP 기반의 가상 웹 호스팅을 이용하여 웹 서버 로드밸런싱을 구현하였다. 로드밸런싱과 직접 라우팅, 터널링에 대한 문서는 리눅스 가상 서버 프로젝트에 자세히 설명되어 있다.

2. 본론

우선 LVS를 구현하기 위해서는 네트워크에 대한 지식, 아파치 웹 서버, IP Aliasing, 패킷 필터링, 기본적인 DNS 구현에 대해 여러분은 선수 학습을 하여야 한다. 본 연구에서는 이러한 선수 학습이 기본이 되어 있다는 것을 염두에 두고 구현에 대한 설명을 하기로 한다. 레드햇 리눅스는 이러한 모든 사항을 기본적으로 GUI를 통하여 제공한다. 본 논문에서 사용한 레드햇 리눅스 어드벤스 2.1은 이러한 기능을 훌륭히 제공한다. DNS 설정에 관한 내용은 한빛 네트워크 전문기사의 IP Alise부분을 참고하고 DNS 설정 부분을 참고 하기 바란다. 꼭 등록된 도메인만 사용 가능한 것은 아니다. 본 연구에서는 인터넷이 되지 않은 환경에서 충분히 검정되고 실험한 결과이므로 구현에 필요한 컴퓨터만 적어도 3대 이상만 준비하면 되겠다.

2.1 piranha 사용하기

우선 피라나를 이용하기 위해서는 DNS 서버 역할을 하는 컴퓨터에 아파치를 실행시켜야 하는데 이것은 순수 웹 서버 기능으로서의 아파치를 사용하는 것이나 피라나 웹 도구를 기본적으로 제공하므로 httpd 데몬을 실행시키지 않는다. 따라서 piranha-gui 데몬만 실행하면 이것이 아파치 모듈과 링크되므로 httpd 데몬을 실행 해서는 안된다. piranha를 사용하기 위해서는 piranha-passwd를 실행해서 piranha 유저 암호를 등록해야 한다. 그리고 localhost:3636 포트로 접속하여 piranha를 설정하게 된다. 따라서 여러분은 piranha 데몬을 실행시키고(/etc/rc.d/init.d/piranha-gui start) 웹 브라우저를 통해 여기에 접근 가능하다.

2.2 piranha 설정

기본적인 piranha및 LVS 개념은 piranha 설치 가이드를 참고하며, 여기에서는 부가 설명을 하지 않는다. 단지 연구에 사용된 공인 IP인 210.220.230.1, 210.220.230.10, 그리고 사설 IP(192.168.1.1, 1.2)에 대해서만 설명한다.

2.3 DNS 설정

하나의 공인 IP로 DNS를 설정한다. 본 연구에서는 본인의 연구소 도메인(실제 도메인에 등록되지 않았음)을 이용하였다. 인터넷이 연결되지 않는 이유로 인해 www.gnomernd.com으로 도메인을 설정하고 구현하였으므로 여러분의 도메인을 그대로 DNS에 설정하면 되겠다. 여러분이 인터넷에 연결되어 있다면 실제 위 주소를 입력해 보기 바란다. 분면히 페이지를 찾을 수 없다고 나올 것이다. 인터넷이 안되는 환경에서 오직 리눅스 구현 기술만을 고집하고자 가상으로 설정한 도메인 이름이라는 것을 염두에 두면 좋겠다.

2.4 iptables, ipvsadm 모듈 로딩

ntsysv또는chkconfig를이용하여 iptables, ipvsadm 모듈을 커널에 로딩하여야 한다. 이것을 로딩하지 않으면 가상 서버를 구현할 수 없으므로 반드시 로딩하여야 한다. 이 작업은 piranha 설정 전에 하는 것이 좋다. 컴퓨터가 부팅 되면서 바로 모듈을 로딩하기 때문에 관리자가 다시 로딩할 필요가 없기 때문이다.

2.5 pulse 데몬 실행

기본적인 환경 구성이 완료되면 /etc/rc.d/init.d/pulse start를 구동하여야 한다. 일단 pulse가 로딩되면 [그림 1]과 같은 결과를 얻을 수 있다. 본 연구에서 사용한 리얼ip는 C Class 사설 IP이다. 경우에 따라 A,B Class의 사설IP를 사용해도 되겠다.

[그림 1] pulse 데몬 실행 결과

LVS 설정이 완료되면 어드벤스 서버는 /etc/sysconfig/ha/lvs/cf파일을 만들어 저장한다. 이 파일은 piranha가 만들어 저장하기 때문에 유심히 살펴보면 별 어려움 없이 매뉴얼로 수정 할 수 도 있다. 단, 매뉴얼로 수정하는 경우에는 반드시 pulse를 재 시작하여야 한다. 중요한 것은 210.220.230.10과 192.168.1.10의 IP는 LVS에서 수동으로 만들지 말아야 한다. 이 IP는 piranha 툴에서 만들어 내부적으로 eth0:1, eth1:1을 UP하기 때문이다. /etc/sysconfig/network-scripts에는 이들을 위한 설정 파일을 만들지 않아야 한다는 것이다. 매우 중요하므로 반드시 상기하기 바란다.

그리고 리얼 서버에서는 [그림 2]와 같이 가상 웹 호스팅을 설정하고 아파치 데몬을 시작하여야 한다. 이렇게 하는 이유는 본인의 연구소에 리얼 서버로 사용할 컴퓨터가 부족하여서 부득이 사용하게 된 방법이다. 여러분의 환경이 허락 된다면 이 과정은 생략하고 대신 각각의 리얼 서버에 ip와 LVS에 설정되어 있는 eth1:1을 gw로 설정해 주는 작업만 하면 되겠다. 이점은 여러분이 이해가 될 것이라고 믿는다.

[그림 2] 리얼서버의 가상 웹 호스팅 설정

라인 1098-1104까지가 리얼 서버(192.168.1.2)의 아파치 환경설정 파일에서 변경되어야 할 부분이다. 그리고 192.168.1.1과 1.2의 리얼 서버의 gw는 192.168.1.10이 되어야 한다. 이것은 LVS(본 연구에서 DNS를 설치한 컴퓨터의 eth1:1에 해당하고, 수동으로 설정하지 않은 IP, 즉 piranha 설정에서 만들어 짐.) 참고로 가상 웹 호스팅 설정은 IP기반과 네임 기반으로 나뉜다. 위 가상 웹 호스팅에서 웹 문서의 저장위치는 1.1은 /var/ww/html 이지만 정상적인 실행을 확인하기 위하여 192.168.1.2는 /var/www/real로 설정하였다. 본 연구에서 1.2 IP를 사용한 이유는 리얼 서버를 이용할 수 있는 컴퓨터 부족으로 인하여 부득이 아파치 가상 웹 호스팅을 사용하였다.

2.6 /etc/hosts 파일

210.220.230.1  gnome.gnomernd.com	gnome
# LVS
210.220.230.10	www.gnomernd.com	www

#test를 위한 윈도우 컴퓨터
210.220.230.30 samba.gnomernd.com	samba

# 리얼서버.. 추가 가능하다
192.168.1.1	real.gnomernd.com	real
192.168.1.2	real1gnomernd.com	real1

2.7 ipvsadm 및 iptables

[그림 3] iptables와 ipvsadm이 실행된 것을 보여준다. 그림에서 210.220.230.10:80 다음에 rr 이라는것이 보인다. rr은 라운드로빙 스케쥴링 방식으로 웹 서비스를 하겠다는 것이다. 실제 실행 결과를 먼저 알아 보기 위해서 가장 확실한 방법이므로 piranha에서 라운드로빙 방식으로 지정하였다. 보다 많은 연구를 원하는 경우 다른 스케쥴링을 도입해 보면 되겠다. 이 역시 piranha에서 설정 가능하다. 또는 man ipvsadm을 해 보면 더 정확한 정보를 얻을 수 있다. [그림 3]과 같은 결과를 얻기 위해서는 우선 다음과 같이 패킷 필터링과 NAT가 가능하도록 설정해 주여야 한다. 참고로 패킷 필터링은 보안을 공부하는데 상당한 도움을 가져다 줄 것이다. 레드햇 보안 가이드를 참고하기 바란다. 레드햇 2.4 커널에서는 ipchains를 지원하지만 iptables를 더 많이 사용한다. 가벼우면서도 성능이 좋기 때문이라고 한다.

[그림 3] iptables와 ipvsadm의 실행결과

2.8 NAT 설정과 페킷 필터링 설정

커널의 proc 파일 시스템에 페킷을 포워딩 할 수 있도록 지정해 주는 방법과 NAT를 구현하기 위한 기본 체인 설정을 하여야 한다. 이것을 위한 방법은 다음과 같다

echo "1" > /proc/sys/net/ipv4/ip_forward

iptables -t mangle -A PREROUTING -p tcp -d 210.220.230.10/32 
      --dport 80 -j MARK --set-mark 80

[그림 4]는 앞서 설명한 iptables 모듈이 설정된 실행결과이다. 물론 iptables ?t mangle ?L로 확인 할 수 있지만 이것은 체인이 설정된 것을 확인 하는 것이지 모듈이 커널에 로딩된 것을 확인 하지는 않으므로 반드시 ps ?ax로 확인 하기 바란다. 또한 페킷 필터링 확인을 위해서는 ipvsadm 명령으로 확인할 수 있다. 이제 모든 구현은 완료 되었다.

[그림 4] iptables의 모듈로딩 확인

3. 결론

인터넷이 안되는 상황에서 이러한 구현을 하기 위해서 많은 것을 얻을 수 있었다. 우선 DNS도 설정할 수 있으면, 하나의 NIC에 여러 IP를 부여하는 방법, 그리고 아파치 가상 웹 호스팅 설정, 최종 목적인 LVS 구현까지 많은 것을 이번 연구를 통해 얻을 수 있었다. 이것을 구현하기 위해 필요한 많은 선수 학습 역시 리눅스를 활용할 수 있는 지식을 얻게 하였다. 최종적으로 상기 /etc/hosts 파일에 등록된 samba(사실은 삼바를 위해 준비한 윈도우 컴퓨터)에서 익스플로러를 이용하여 www.gnomernd.com에 접속하여 실제 LVS의 실행 여부를 그 결과로 제출한다. [그림 5]와 [그림 6]은 samba 컴퓨터에서 www.gnomernd.com으로 접속했을 때 서로 다른 웹 페이지가 보여지는 것을 알수 있다. 결과 확인을 위해 piranha에서 스케쥴링 방법을 라운더로빙 방식으로 지정하였기 때문에 새로 고치기를 누르게 되면 서로 웹 페이지가 번갈아 나타남을 알 수 있다. 결과가 확인되면 스케쥴 방법은 여러분의 편의에 따라 바꾸면 되겠다. 이것은 곧 lvs.cf 파일을 변경하는 것이 되므로 반드시 pulse를 재 시작 하여야 한다는 것은 당연하다. 이것을 활용하고 연구하는 것은 여러분의 몫이 되었다.

[그림 5] 실행결과 1

[그림 6] 실행결과 2

만약 여러분의 test 클라이언트가 리눅스 기반이라면 컹커리 또는 모질라, lynx를 이용하여 확인 하여도 되겠다. 본 연구에서는 삼바 test을 위한 윈도우가 유일하게 클라이언트가 될 수 있어서 익스플로러를 사용하였다.

펌d by network.hanb.co.kr / Original Link is 『http://network.hanb.co.kr/view.php?bi_id=677』

가상서버내에서 클라이언트 IP 를 정상적으로 변환시켜 주는 모듈입니다.
이 모듈을 쓰지 않으면 메인서버의 게이트웨이 IP 가 찍히게 됩니다.
이 모듈을 사용하시게 되면 아파치 로그뿐만 아니라 프로그램상에서도 정상적으로 클라이언트 IP 추적이 가능합니다.

URL: http://stderr.net/apache/rpaf/

설치방법:
# wget http://stderr.net/apache/rpaf/download/mod_rpaf-0.6.tar.gz
# apt-get install apache2-threaded-dev (apxs2 설치, prefork 일 경우는 apache2-prefork-dev)
# apt-get install make (필요한 경우)
# apt-get install gcc (필요한 경우)
# make rpaf-2.0 (아파치 1.3 은 make rpaf)
# make install-2.0 (아파치 1.3 은 make install)

아차피 설정파일(apache2.conf)에

LoadModule rpaf_module /usr/lib/apache2/modules/mod_rpaf-2.0.so

RPAFenable On
RPAFsethostname On
RPAFproxy_ips 10.0.0.128
RPAFheader X-Forwarded-For

추가해 줍니다. 10.0.0.128 은 가상서버 게이트웨이 IP 입니다.

요렇게 하시고 아파치 로그등에서 확인해 보시면 정상적으로 IP 가 찍히는 걸
확인하실 수 있습니다.

페도라에서도 같은 방법으로 컴파일해서 설치하시면 됩니다.

펌d by j4f(just4fun.co.kr)

https://help.ubuntu.com/community/XenVirtualMachine

root 패스워드 잃어 버려서  grub로 부팅할때.
# xm create dom1 -c

무정지, 무제한 Web 서버를 만들자 Linux Virtual Server Project & M$-WLBS by Byoungjoon Shin 1999-9-9

안녕하십니까? 신병준입니다.
요즘 인터넷의 기하 급수적인 증가량으로인해 기존의 Web서버의 성능이 사용자의 요구를 따라가지 못하는 상황이 발생하고 있습니다. Web서버의 upgrade를 생각해 볼 수가 있지만, 이것도 곧 부하가 모자라게 될 것이며, upgrade 과정도 상당히 복잡하고 비용도 만만하지가 않습니다.

기존의 방법으로는 Round-Robin DNS 나 고가의 IP 분배기장치들도 있지만, 이또한 가격이 만만하지가 않습니다.

그러면, SW만을 이용한 방법으로는 어떤것이 있을까 찾아보았더니, 제목과 같이 Linux 계열에서는 "Linux Virtual Server Project(http://proxy.iinchina.net/~wensong/ippfvs/)" 가 있고, M$의 계열에서는 WLBS가 있더군요.

이 두 SW모두 외부 사용자에게는 하나의 IP만을 보여주면서, 내부적으로는 n개의 서버를 돌리는 솔루션입니다.
즉, n개의 서버에 같은 web 서비스를 운영하면서, 부하가 증가하게 되면, 서버만 늘려서 성능을 향상시킬수 있는 방법입니다. 또한, n개의 서버가 동시에 죽지만 않느다면, 해당 서비스(web)는 절대 다운되지않는 무정지 시스템을 만들어 주게 됩니다.

우선, 개념도를 보면, LVSP(linux virtual server project)의 그림은 아래와 같습니다.

M$의 WLBS(Windows Load Balancing Server)는 아래와 같습니다.

잠시 두 시스템을 비교해 볼까요?

항목	LVPS	WLBS
운영환경	Linux/Unix 계열	Windows NT 4.0 Server Windows NT 4.0 Server Enterprise Edition (참고로 한국 M$에서는 Enterprise Edition에서만 된다고 주장하였음, 비싼 sw 팔아먹을려고, 나쁜 xx)
비용	무료	무료
최대연결수	100대 이상	64대
구성	1개의 Load Balancer(Real Server 가능) n 개의 Real Server로 구성	n 개의 wlbs 서버로 구성
clustering 방법	Non-Shared cluster	Non-Shared cluster
설치방법	Kernel patch	Wlbs setup
적용범위	LAN/WAN	LAN
스케줄방법	Round-Robin Scheduling Weighted Round-Robin Scheduling Least-Connection Scheduling Weighted Least-Connection Scheduling 의 4가지 중에서 선택가능	비공개

각 sw의 자세한 내용은 해당 web 페이지에서 찾아 보시구요. 여기에서는 제가 설치하고, 테스트하고, 운영한 내용을 기준으로 설명하여 드리겠습니다.

0. 준비

우선 컴퓨터가 있어야 겠지요. 2대이상 + 클라이언트 1대 ^^
컴퓨터의 기종은 무엇이라도 상관이 없습니다. 각 OS가 운영가능한 최소한의 시스템이면 됩니다.

LVSP

Kernel 소스 2.2.12 로 테스트 하였습니다.
LVSP 홈페이지에서 최신버젼(테스트할 당시의 최신버젼  ipvs-0.8.2-2.2.12.tar.gz)을 받아 옵니다.

WLBS

Windows NT 4.0 Server
WLBS를 M$의 홈페이지에서 받아 옵니다.

1. 설치

LVSP

linux의 커널 컴파일에 대한 자세한 정보는 http://kldp.org에 가면 있습니다.
위에서 받아온 파일을 임의 디렉토리에 압축해제 합니다.

# tar xvzf ipvs-0.8.2-2.2.12.tar.gz (/usr/src 디렉토리에 풀었다고 가정합니다.)

# cd ipvs-0.8.2-2.2.12

# vi README

# cd ipvsadm-1.2     :     ipvsadm 설치를 위해서

# make

# make install

# cd /usr/src/linux

# cat <path-name>/ipvs-0.8.2-2.2.12.patch | patch -p1

           예) cat ../ipvs-0.8.2-2.2.12.patch | patch -p1

이 이후의 과정의 리눅스의 커널 컴파일 과정과 똑같습니다. 단지 몇가지 컴파일 옵션을 지정해 주어야 되는데, 저도 왜 지정해 주어야 하는지는 자세히 모르지만, 해당 사이트의 설명에 그렇게 되어 있기 때문에 지정해 주었습니다.

Linux 커널 컴파일과정 중에서

# make menuconfig   -- 커널 컴파일 설정 지정시

Kernel Compile Options:

Code maturity level options --->

[*] Prompt for development and/or incomplete code/drivers

Networking options --->

[*] Network firewalls
....
[*] IP: firewalling
[*] IP: always defragment (required for masquerading) (NEW)
....
[*] IP: masquerading
....
[*] IP: masquerading virtual server support (EXPERIMENTAL)(NEW)
(12) IP masquerading table size (the Nth power of 2)(NEW)
<*> IPVS: round-robin scheduling(NEW)
<*> IPVS: weighted round-robin scheduling(NEW)
<*> IPVS: weighted least-connection scheduling(NEW)
<*> IPVS: persistent client connection scheduling(NEW)
....
[*] IP: aliasing    : 이부분의 lvsp 홈에는 없는데, 지정안해주면 안되더군요.

　

컴파일이 완료된 후에 새로운 컴파일로 리부팅합니다. 이것을 설치가 완료된 것입니다.

　

WLBS

M$ 사이트에서 받아온 wlbs의 파일(wlbs22_i386.exe)의 압축을 임의의 디렉토리에 풀어줍니다.

readme.txt를 확인해 보시구요.

압축을 푼 디렉토리에 wlbs.hlp 파일을 보시면 자세한 설치에 관한 정보가 있습니다. 그림과 함께...

2. 설정

먼저, 가상 IP(사용자에게 보여질 IP)와 각 서버에 할당된 IP가 아래와 같다고 합시다.

가상 IP    :     172.26.20.110

서버 #1의 IP    :     172.26.20.111

서버 #2의 IP    :     172.26.20.112

LVSP

LVSP에서는 Load balancer 컴퓨터와 Real Server의 설정이 약간 다릅니다.

Load balancer (Linux Director) 컴퓨터에서 아래와 같이 명령을 줍니다.

ifconfig eth0 172.26.20.111 netmask 255.255.255.0 broadcast 172.26.20.255 up
route add -net 172.26.20.0 netmask 255.255.255.0 dev eth0
ifconfig eth0:0 172.26.20.110 netmask 255.255.255.255 broadcast 172.26.20.110 up
route add -host 172.26.20.110 dev eth0:0
ipvsadm -A -t 172.26.20.110:23 -s  wlc   (WLC scheduling is used for this virtual service)
ipvsadm -a -t 172.26.20.110:23 -R 172.26.20.112 -g

Real Server의 수만큼 마지막 라인을 반복해서 주어야 합니다.
또한 Load balancer 컴퓨터를 real server로도 사용할려면,

ipvsadm -a -t 172.26.20.110:23 -R 127.0.0.1 -g

이렇게 명령을 추가로 줍니다.

　

다음으로 각 Real Server에서는 아래와 같이 명령을 줍니다.

ifconfig eth0 172.26.20.112 netmask 255.255.255.0 broadcast 172.26.20.255 up
route add -net 172.26.20.0 netmask 255.255.255.0 dev eth0
ifconfig lo:0 172.26.20.110 netmask 255.255.255.255 broadcast 172.26.20.110 up
route add -host 172.26.20.110 dev lo:0

여기까지가 설정의 전부 입니다.

　

WLBS

wlbs의 설정의 도움말의 설정방법을 그대로 따라하면 쉽게 가능합니다. 다만 아래의 그림에서 한가지만 바꾸어 주면 됩니다.

Primary IP address    :    가상 IP    172.26.20.110
Subnet mask            :      255.255.255.0    ( C 클래스인 경우)
Full Internet name     :     DNS서버에서 설정한 이름
Multicast support    :  만약 Lan card를 1개로 사용한다면 설정해 주십시오.

Priority(ID)            :      각 서버중에서 찾아갈 순서
Dedicated IP address    : 각 서버의 실제 IP      172.26.20.111

Filtering mode    : 각 서버가 동일 시스템이 아닌경우에는 Load percentage를 설정합니다.

[Add]버튼을 눌러주고, [OK]버튼을 누릅니다.

위의 과정을 각 서버에서 똑같이 해주면서 서버의 실제 IP만 바꾸어 줍니다.

또한 도움말에 보면, Network 환경의 등록정보중에서 Binding에 관련된 설정을 바꾸는 것이 있습니다. 이것을 도움말의 그림과   똑같이 설정하여 줍니다.

설정이 완료되면, 리부팅하여 이벤트 표시기를 확인하십시오.

　

3. 테스트

테스트 방법은 두 시스템이 동일합니다.

먼저, 두대 서버모두를 랜에 연결되어 있는 상황에서, 각 서버의 web 초기 페이지를 눈으로 확인할 수 있도록 다르게 만들어 줍니다.

각 서버가 살아 있는지 확인합니다.

ping 172.26.20.111
ping 172.26.20.112

이번에는 가상 IP로 ping을 해 봅니다.

ping 172.26.20.110

이 세개의 테스트에서 전부 응답이 있으면 제대로 실행되는 것입니다. 다만, 가상 IP로의 ping이 어느 시스템으로 가는지는 알수가 없습니다.

이번에는 브라우져를 띄우고,

각 서버의 IP를 url 주소에 적어서 web서버가 살아 있고, 각 서버의 처음 페이지가 다른 지를 확인합니다.

확인이 됐으면, 가상 IP를 url에 적어줍니다.  이제 어는 서버가 갔는지를 확인 할 수 있을 것입니다.

해당 서버의 lan 케이블을 뽑아두고, 브라우져에서 '새로고침'을 하여 보십시오.

이번에는 다른쪽 서버의 web화면이 나올 것입니다.

　

자, 이제 무정지, 무제한 web서비스를 할 준비가 된 것입니다.

이것은 꼭 Web서비스 뿐만 아니라 TCP/IP를 사용하는 대부분의 서비스에 응용할 수가 있습니다.

그럼, 도움되셨기를 뵙니다.

　

1999년 9월 9월

신병준 (bolero@dooin.co.kr)
http://bolero.dooin.co.kr