1. ThreadPoolTaskExecutor
특정 스레드 개수 + 작업 큐 + 스레드 풀 개수를 만들어 놓고 작업을 작업 큐에 올려놓아 적입 끝난 스레드가 큐에서 작업을 꺼내 기능을 수행하는 방식이다. 분업화로 인한 업무효율이 향상되는 장점이 있다.
주로 spring에서 비동기처리를 위해 사용하며, 스레드풀을 사용하여 멀티스레드 구현을 쉽게 해준다.
Thread Pool
병렬 작업 처리가 많아지면 Thread의 개수가 증가하고 그에 따른 Thread 생성과 스케줄링으로 인해 CPU가 바빠져서 메모리 사용량이 늘어난다. 따라서 애플리케이션의 성능이 저하된다. 이런 상황을 막기 위해 Thread Pool을 사용한다.
Thread Pool은 작업 처리에 사용되는 Thread를 제한된 개수만큼 정해놓고 작업 큐에 들어오는 작업을 하나씩 Thread가 맡아서 처리한다.
java.util.concurrent 패키지에 ExecutorService 인터페이스와 ExecutorService 구현 객체를 만들 수 있는 Executors 클래스를 제공해준다. ExecutorService 구현 객체는 newCachedThreadPool()나 newFixedThreadPool(int nThreads)로 생성할 수 있다. 또는 아래와 같은 생성자를 사용해서 ThreadPoolExecutor 객체를 직접 생성해도 된다.
2. ThreadPoolTaskExecutor 설정
@Bean("tTaskExecutor")
public TaskExecutor taskExecutor() {
ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
taskExecutor.setCorePoolSize(5); // 기본 스레드 수
taskExecutor.setMaxPoolSize(15); // 최대 스레드 수
taskExecutor.setQueueCapacity(100); // Queue 사이즈
taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
return taskExecutor;
}
ThreadPoolExecutor 인스턴스를 초기화할 때 여러 가지 설정값들이 있는데 그중 대표적인 옵션 3가지가 있다.
- corePoolSize
thread-pool에 항상 살아있는 thread의 최소 개수
- maxPoolSize
thread-pool에서 사용할 수 있는 최대 thread의 개수
- queueCapacity
thread-pool에서 사용할 최대 queue의 크기
ThreadPoolTaskExecutor의 기본 방식
1. 현재 점유하고 있는 스레드의 개수가 corePoolSize만큼 있을 때 요청이 오면 지정된 queueCapacity의 개수만큼 요청을 큐에 넣는다.
2. 현재 점유하고 있는 스레드의 개수가 corePoolSize만큼 있고 큐에 담긴 요청이 queueCapacity의 개수만큼 있을 때 요청이 오면 maxPoolSize만큼 스레드 풀을 생성한다.
3. 만약 현재 점유하고 있는 스레드의 개수가 maxPoolSize만큼 있고 큐에 담긴 요청이 queueCapacity의 개수만큼 있을 때 요청이 오면 java.util.concurrent.RejectedExecutionException 예외가 발생된다.
- RejectedExecutionHandler
큐 허용치를 초과하거나 Executor가 종료되어서 Thread 또는 큐 슬롯을 사용할 수 없는 경우, RejectedExecutionHandler는 ThreadPoolExecutor에서 task를 더 이상 받을 수 없을 때 이에 대한 예외정책으로 호출된다.
Reject Policy :: Executor는 작업 큐가 꽉 찼을 때 아래 4가지 전략 중에 하나를 선택해서 사용할 수 있다.
AbortPolicy
Default로 설정되어 있는 정책이다. Reject된 task가 RejectedExecutionException을 던진다.
2. CallerRunsPolicy
호출한 Thread에서 reject된 task를 대신 실행한다.
shutdown 상태가 아니라면 ThreadPoolTaskExecutor에 요청한 thread에서 직접 처리 예외와 누락 없이 최대한 처리하려면 CallerRunsPolicy로 설정하는 것이 좋음
3. DiscardPolicy
Reject된 task는 버려진다. Exception도 발생하지 않는다.
4. DiscardOldestPolicy
실행자를 종료하지 않는 한, 가장 오래된 처리되지 않은 요청을 삭제하고 execute()를 다시 시도한다.
그리고 위와 같이 정의한 스레드 풀에서 열심히 작업이 이루어이고 있을 때 애플리케이션 종료를 요청하면 어떻게 될까? Spring Boot Actuator를 이용해서 종료를 시켜보면 호출 즉시 애플리케이션이 바로 종료 되는 것을 확인할 수 있다. 이렇게 즉시 종료되면 아직 처리되지 못한 task는 유실된다. 유실 없이 마지막까지 다 처리하고 종료되길 원한다면 설정을 추가해야 한다. waitForTasksToCompleteOnShutdown 옵션을 true로 하게 되면 queue에 남아 있는 모든 작업이 완료될 때 까지 기다리게 된다.
@Bean("tTaskExecutor")
public TaskExecutor taskExecutor() {
ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
taskExecutor.setCorePoolSize(5); // 기본 스레드 수
taskExecutor.setMaxPoolSize(15); // 최대 스레드 수
taskExecutor.setQueueCapacity(100); // Queue 사이즈
taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
return taskExecutor;
}
Timeout configuration
만약 모든 작업이 처리되길 기다리기 힘든 경우라면 setAwaitTerminationSeconds메서드를 통해 최대 종료 대기 시간을 설정할 수 있다.
@Bean("tTaskExecutor")
public TaskExecutor taskExecutor() {
ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
taskExecutor.setCorePoolSize(5); // 기본 스레드 수
taskExecutor.setMaxPoolSize(15); // 최대 스레드 수
taskExecutor.setQueueCapacity(100); // Queue 사이즈
taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
taskExecutor.setAwaitTerminationSeconds(60); // shutdown 최대 60초 대기
return taskExecutor;
}
keepAliveSeconds
maxPoolSize가 모두 사용되다가 idle로 돌아갔을 때 종료하기까지 대기하는 걸리는 시간.
예를들어 core size가 5, max size가 15일때요청이 많아져서 thread pool이 바빠져서 추가적으로 10개의 thread를 생성해서 15개의 thread를 사용하게 될텐데, 바빠진게 해소되었을때 이제 10개의 추가된 thread는 한가한(idle) 상태가 되고 그리고 자원의 절약을 위해 한가한 상태의 thread가 죽는다.
thread가 idle 상태에서 die 상태가 되기까지 대기하는 시간을 keepAlivesSeconds 옵션으로 설정할 수 있다. thread를 다시 생성하는 비용과 idle 상태로 유지하는 비용의 trade-off를 잘 생각해서 설정하면 좋다.
setAllowCoreThreadTimeout
코어 스레드 타임아웃을 허용했을 경우 사용되는 설정값으로, 설정된 시간이 지날 때까지 코어 스레드 풀의 스레드가 사용되지 않을 경우 해당 스레드는 terminate 된다.
3. @Async로 ThreadPoolTaskExecutor 사용하기
(1) ThreadPoolTaskExecutor bean 설정 클래스에 @EnableAsync도 추가해야 함
@Configuration
@EnableAsync
public class TaskExecutorConfig {
@Bean(name = "executor")
public ThreadPoolTaskExecutor taskExecutor() {
ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
taskExecutor.setCorePoolSize(5); // 기본 스레드 수
taskExecutor.setMaxPoolSize(10); // 최대 스레드 수
taskExecutor.setQueueCapacity(100); // Queue 사이즈
taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
taskExecutor.setAwaitTerminationSeconds(60); // shutdown 최대 60초 대기
return taskExecutor;
}
}
(2) 서비스의 메서드에 @Async(“스레드풀네임”)어노테이션 추가
@Service
public class TestService2 {
@Async("executor")
public void executeThreads() {
System.out.println("executing threads");
try {
Thread.sleep(3000);
System.out.println("[TestService]" + Thread.currentThread().getName());
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}