서버에 가해지는 부하(=로드)를 분산(=밸런싱)해주는 장치 또는 기술을 통칭하며 가상 IP를 통해 여러 서버에 접속하도록 분배하는 기능을 의미한다.
발생하는 트래픽이 많을 때 여러 대의 서버가 분산처리하여 서버의 로드율 증가, 부하량, 속도 저하 등을 고려하여 적절히 분산처리하여 해결해주는 서비스이다.
로드 밸런서 (Load Balancer)
로드 밸런싱을 해주는 소프트웨어 혹은 하드웨어 장비를 로드 밸런서(Load Balancer)라고 하며 클라이언트와 서버풀(Server Pool, 분산 네트워크를 구성하는 서버들의 그룹) 사이에 위치하며 주 목적은 동시에 오는 수 많은 커넥션을 한대의 서버로 부하가 집중되지 않도록 트래픽을 관리하고 해당 커넥션이 요청 노드 중의 하나로 전달될 수 있게 하여 각각의 서버가 최적의 퍼포먼스를 보일 수 있도록 한다.
부하 분산에는 L4 Load Balancer와 L7 Load Balancer가 많이 사용됩니다. L4부터 Port를 다룰 수 있기 때문입니다.
한 대의 서버의 각각의 포트에 여러개의 서비스들을 운영하기 위해서 L4 Layer 위에서 작동하는 로드 밸런서가 필요해진 것입니다.
이전에는 비싼 L4 하드웨어 장비를 주로 사용했지만
현재는 MSA의 등장 등으로 L7 로드 밸런싱도 많이 사용하고, AWS ELB, NginX, HaProxy등 다양한 소프트웨어를 사용하고 있습니다.
로드 밸런서를 사용할 때 어려운 문제 중 하나는 세션 데이터를 관리하는 것이다.
서버에 액세스 할 때마다 다른 세션을 사용한다면 특정 사용자의 정보를 일관성 있게 유지할 수 없게 된다.
이러한 문제를 해결하기 위해 세션을 고정(Session Sticky) 한다. 이 방법으로 특정 사용자의 요청이 전달될 노드를 고정시킬 수 있다.
로드 밸런싱 알고리즘
- 라운드로빈 방식 (Round Robin Method)
서버에 들어온 요청을 순서대로 돌아가며 배정하는 방식.
클라이언트의 요청을 순서대로 분배하기 때문에 여러 대의 서버가 동일한 스펙을 갖고 있고, 서버와의 연결(세션)이 오래 지속되지 않는 경우에 활용하기 적합합니다. - 가중 라운드로빈 방식 (Weighted Round Robin Method)
각각의 서버마다 가중치를 매기고 가중치가 높은 서버에 클라이언트 요청을 우선적으로 배분합니다. 주로 서버의 트래픽 처리 능력이 상이한 경우 사용되는 부하 분산 방식입니다. 예를 들어 A라는 서버가 5라는 가중치를 갖고 B라는 서버가 2라는 가중치를 갖는다면, 로드밸런서는 라운드로빈 방식으로 A 서버에 5개 B 서버에 2개의 요청을 전달합니다. - IP 해시 방식 (IP Hash Method)
클라이언트의 IP 주소를 특정 서버로 매핑하여 요청을 처리하는 방식입니다. 사용자의 IP를 해싱(Hashing, 임의의 길이를 지닌 데이터를 고정된 길이의 데이터로 매핑하는 것, 또는 그러한 함수)해 로드를 분배 하기 때문에 사용자가 항상 동일한 서버로 연결되는 것을 보장합니다. - 최소 연결 방식 (Least Connection Method)
요청이 들어온 시점에 가장 적은 연결상태를 보이는 서버에 우선적으로 트래픽을 배분합니다. 자주 세션이 길어지거나, 서버에 분배된 트래픽들이 일정하지 않은 경우에 적합한 방식입니다. - 최소 응답시간 방식 (Least Response Time Method)
서버의 현재 연결 상태와 응답시간(Response Time, 서버에 요청을 보내고 최초 응답을 받을 때까지 소요되는 시간)을 모두 고려하여 트래픽을 배분합니다. 가장 적은 연결 상태와 가장 짧은 응답시간을 보이는 서버에 우선적으로 로드를 배분하는 방식입니다.
L4 Load Balancer 와 L7 Load Balancer 의 차이
L4 Load Balancer
IP, Port 를 기준으로 스케줄링 알고리즘을 통해 부하를 분산합니다.
데이터의 내용을 복호화할 필요가 없어 안전하며,
데이터 안을 들여다보지 않고 패킷 레벨에서만 로드를 분산하기 때문에 속도가 빠르고 효율이 높습니다.
다만, 패킷의 내용을 살펴볼 수 없기 때문에 섬세한 라우팅이 불가능하며,
사용자의 IP가 수시로 바뀌는 경우라면 연속적인 서비스를 제공하기 어렵습니다.
L7 Load Balancer보다 가격이 저렴합니다.
L7 Load Balancer
L7 위에서 동작하기 때문에 IP, Port 이외에도 URI, Payload, Http Header, Cookie 등의 내용을 기준으로 부하를 분산합니다.
그래서 콘텐츠 기반 스위칭이라고도 합니다.
상위 계층에서 로드를 분산하기 때문에 훨씬 더 섬세한 라우팅이 가능하며, 캐싱 기능을 제공합니다.
비정상적인 트래픽을 사전에 필터링할 수 있어 서비스 안정성이 높습니다.
패킷의 내용을 복호화해야 하기에 더 높은 비용을 지불해야하며
클라이언트가 로드 밸런서와 인증서를 공유해야하기 때문에 공격자가 로드 밸런서를 통해서 클라이언트에 데이터에 접근할 보안 상의 위험성이 존재합니다.
L4 Load Balancer는 단지 부하를 분산시키는 것이라면
L7 Load Balancer는 요청의 세부적인 사항을 두고 결제만 담당하는 서버, 회원가입만을 담당하는 서버 등으로 분리해서 가볍고 작은 단위로 여러 개의 서비스를 운영하고 요청을 각각의 서버에 분산할 수 있는 것입니다.
L7 Load Balancer는 L4 Load Balancer와 다르게 데이터를 분석해서 처리가 가능하기 때문에 악의적이거나 비 정상적인 콘텐츠를 감지해 보안 지점을 구축할 수도 있는 장점이 있고, 그 만큼 자원 소모가 크다는 단점이 있습니다.
* 용어 *
NAT
private IP를 public IP로 바꾸는데 사용하는 통신망의 주소 변조기
DSR
서버에서 클라이언트로 되돌아가는 경우, 목적지 주소를 스위치 IP가 아닌 클라이언트의 IP 주소로 전달해서 네트워크 스위치를 거치지 않고 바로 클라이언트를 찾아가는 개념
Tunneling
인터넷 상에서 눈에 보이지 않는 통로를 만들어 통신할 수 있게 하는 개념으로 데이터를 캡슐화해서 연결된 상호간에만 캡슐화된 패킷을 구별해 캡슐화를 해제할 수 있다.
