Thread Pool (Java, Tomcat, SpringBoot)

Java, Tomcat, SpringBoot에서의 Thread Pool을 Web server application 관점에서 살펴보자.

 

 

....

 

 

먼저 Program / Process / Thread를 살펴보자.

 

Program

- 어떤 목적을 위해 컴퓨터의 동작을 하나로 모아 둔 것 (코드 덩어리)

 

Process 

- 현재 실행중인 프로그램

 

Thread

- Cpu core의 실행 단위

- Process의 작업을 Thread 단위로 나눌 수 있음

- 이를 Cpu core가 처리

- 하나의 Process 에서 두가지 이상 작업을 동시에 실행 가능 

 

 

...

 

 

단순히 Thread만 사용해서 동시에 여러 작업을 실행시킬 수 있는 프로그램을 만들 수 있을까?

 

Thread를 단순하게 사용할 때

 

- 요청이 올 때마다 새로운 스레드를 생성하여 작업을 처리하고 처리가 끝나면 스레드를 없애는 방식으로 동작하는 프로세스이다. 

 

문제 1)

- 스레드 생성 비용이 크기때문에 요청에 대한 응답시간이 늘어난다. 

- 이 말은 User Thread(프로세스 스레드) 생성 시 OS Thread 와 연결해야하고,

- 새로운 스레드를 생성할 때마다 OS 커널 작업이 필요하다. 

- 이는 스레드 생성 비용이 많이 든다고 판단할 수 있다.

 

 문제2) 

- 프로세스의 처리 속도보다 빠르게 요청이 들어오면 새로운 스레드가 무제한 적으로 생긴다.

- 스레드가 많아질수록 메모리를 차지하고, 컨텍스트 스위칭이 더 자주 발생한다.

- 메모리 문제가 발생할 수 있고 CPU  오버헤드가 증가한다.

 

 

...

 

 

단순히 Thread만 사용해서는 문제가 많다. 이를 위해 스레드 풀을 사용한다. 스레드 풀이란, 스레드를 허용된 개수 안에서 사용하도록 제한하는 시스템을 말한다.

 

 

 

 

스레드 풀은 두 가지 요소로 구성되어 있다.

 

1) 스레드 풀에서 작업하는 스레드 

2) 작업 큐

 

- 스레드 풀에 작업 요청이 들어오면 작업 큐에 작업이 쌓인다.

- 그리고 스레드 풀 안에 스레드들이 작업 큐의 작업을 빼서 처리한다. 

 

스레드 풀의 특징

- 정해진 양만큼의 스레드를 사용

- 사용된 스레드는 없어지지 않고 재사용 가능

 

 

...

 

 

스레드 풀을 이용하면 위 '문제 1), 문제 2)'를 처리할 수 있다. 

 

 

- 미리 만들어 놓은 스레드를 재사용할 수 있기 때문에 새로운 스레드를 생성하는 비용을 줄일 수 있음.

- 스레드 개수를 제한하기 때문에 무제한적 스레드가 생성되는 것을 방지할 수 있음. 

 

 

결론, 여러개의 작업을 동시에 처리하면서도 안정적으로 처리하고 싶을 때 스레드 풀은 효과적이다. 

 

 

...

 

 

자바에서는 스레드 풀을 어떻게 구현하고 있을까?

 

 

 

 

- 스레드 풀 executor라는 클래스를 이용하여 스레드 풀 구현 

- maximumPoolSize, KeepAliveTime, corePoolSize 특징을 가지고 있다. 

- KeepAliveTime 시간동안 요청이 없으면 스레드는 corePoolSize 만큼만 사라진다. 

- 최대 maximumPoolSize, 최소 corePoolSize 만큼 가지고 있다.

 

 

여러개의 작업을 동시에 처리하면서도 안정적으로 처리하고 싶을 땐 스레드 풀은 효과적이다. 

 

 

...

 

 

웹 서버의 특성은 동시 요청을 동시에 처리 해야한다. 그래서 웹 서버들은 스레드 풀 시스템을 사용하고 있다. 

 

 

 

... 

 

 

톰켓의 스레드 풀

 

 

톰켓은 스프링 부트 내장 서블릿 컨테이너 중 하나이다.

Java 기반의 WAS이다.

 

 

Java 의 스레드 풀 클래스와 매우 유사한 자체 스레드 풀 구현체를 가지고 있다.

'org.apache.tomcat.util.threads.ThreadPoolExecutor'

 

 

톰켓 스레드 풀 자체는 자바의 스레드 풀과 비교했을 때 두 가지 알아야 하는 것이 있다. 

 

 

1) MaxConnections

- 톰켓이 최대로 동시에 처리할 수 있는 커넥션의 개수

- 웹 요청이 들어오면 톰켓의 커넥터 가 커넥션을 생성하면서 스레드 풀의 스레드에 연결한다. 

- 이 때 동시에 연결해서 처리할 수 있는 커넥션의 개수가 MaxConnections

 

2) Accept-Count

- MaxConnections 이상의 요청이 들어왔을 때 사용하는 대기열 Queue의 사이즈

- MaxConnections 와 AcceptCount 이상의 요청이 들어왔을 때 추가적으로 들어오는 요청은 거절될 수 있다.

 

 

...

 

 

여기까지, 아래 개념을 학습했다.

 

1) 스레드 풀의 개념

2) 자바와 톰켓의 스레드 풀 비교

3) 동시 요청을 안정적으로 처리해야하는 웹 서버에서 스레드 풀을 사용

 

 

어떻게 하면 스레드 풀을 잘 설정해서 서버 어플리케이션을 효과적으로 구현할 수 있을까?

 

-> SpringBoot 설정으로 Tomcat 스레드 풀 설정이 가능

- 'server.tomcat.thread.max'

- Thread Pool에서 사용할 최대 스레드 개수, 기본 200

- 서버 어플리케이션이 동시에 처리할 수 있는 요청 개수와 관련있다.

 

만약,

 

1) 요청 수에 비해 너무 많게 설정 -> 놀고 있는 스레드가 많아져서 비효율 발생

2) 너무 적게 설정 -> 동시 처리 요청수가 줄어든다. (평균응답시간, TPS 감소)

 

스레드가 많아지면 CPU 오버헤드와 메모리에서 문제가 생길 수 있다는 걸 고려해야 함

 

- 'server.tomcat.thread.min-spare'

- 스레드 풀에서 최소한으로 유지할 스레드 개수, 기본 10

 

1) 너무 많이 설정 -> 스레드 풀이 항상 유지해야 할 스레드 수가 너무 많아진다.

2) 적절하게 설정 -> 적은 수의 요청에서 새로운 스레드를 만들 필요없이 요청을 효과적으로 처리할 수 있다.

 

잘못 설정했을 때 사용하지 않는 스레드가 메모리를 차지하면서 비효율을 발생시킨다는 것을 고려해야한다.

 

 

- 'server.tomcat.thread.max-connections'

- 동시에 처리할 수 있는 최대 커넥션 개수, 기본 8192

- 사실상 서버의 실질적은 동시 요청 처리 개수라 생각할 수 있음.

- 논블록킹 IO에서는 스레드 풀의 최대 스레드 개수보다 많은 양의 커넥션을 유지할 수 있음.

- 논블록킹 IO에서는 최대 스레드 개수보다 적거나 같은 수의 max-connections를 설정하는 것은 비효율적인 설정이 될 수 있다.

 

1) 블록킹 IO 

- 1 connections : 1 Thread

 

2) 논블록킹 IO (톰켓 8이상)

- N connections : 1 Thread