개발정리

멀티 스레드를 이해하기 위해 멀티 태스킹과 프로세스 같은 운영체제 기본 개념들을 알아야한다. 멀티 스레드 이해를 위한 핵심 내용만 살펴보자.  1) 단일 프로그램 실행ex) 프로그램 2개 이상을 동시에 실행했다. 음악을 들으면서, 문서를 작성하는 것이다. 이 때 연산을 처리할 수 있는 CPU 코어는 1개만 있다. - 프로그램의 실행이란 프로그램 코드를 순서대로 CPU에서 연산(실행)하는 일이다.- 여기서 CPU 코어는 하나이므로 한 번에 하나의 프로그램 코드만 실행할 수 있다.- 만약 하나의 프로그램 안에 있는 코드를 모두 읽은 후에야 다른 프로그램의 코드를 실행할 수 있다면 사용자는 답답함을 느낀다.- 실제로 초창기 컴퓨터는 이렇게 실행했다.- 이를 해결하기 위해 CPU 코어로 여러 프로그램을 동시에 ..

01. Virtual Tread란 무엇인가- JDK 21(LTS)에 추가된 경량스레드- OS 스레드를 그대로 사용하지 않고 JVM 내부 스케줄링을 통해 수십~수백만개의 스레드를 동시에 사용할 수 있게한다. 기존 Thread의 문제점1) 정통적인 Java의 Thread - Java의 Thread는 OS Thread를 Wrapping 한 것 (Platform Thread)- Java 어플리케이션에서 Thread를 사용하면 실제로는 OS Thread를 사용한 것- OS Thread는 생성 갯수가 제한적이고 생성, 유지하는 비용이 비싸다.- 이 때문에 애플리케이션에서는 플랫폼 스레드를 효줄적으로 사용하기 위해 Thread Pool을 사용했다.  2) Throughput  - 기본적인 Web Request 처리 ..

1. Thread 란 위 그림은 JVM 내부 Runtime Data Area이다.  1) Heap- new 명령어로 생성된 인스턴스가 저장되는 공간  2) Method Area - 클래스, 변수, static, 정적 변수가 저장되는 공간 - 안에 있는 runtime constant pool은 클래스 정보와 같은 메타 데이터가 저장되는 공간  3) Thread- 프로세스의 작은 작업 단위를 말한다.  3-1) PC (Process Counter Register)- 스레드 작업 흐름 단위를 저장하고 있다.3-2) JVM Stack- 메소드 스택을 저장.- 메소드가 종료되면 메모리 공간에서 사라지게 된다.3-2) Native Method Stack- JNI (Java Nativce Interface) 이다. ..

1. Java 21에서 가상 스레드를 왜 도입하였을까. 1) IO 중심 작업에서 처리량(성능)을 늘리기 위함- 대표적인 IO 중심 작업은 DB를 사용하는 웹 서버를 예로 들수 있다. - DB를 사용하는 웹 서버는 DB와 통신하기 위해 IO를 사용한다.- 즉, IO 중심이 많은 서버에서 처리량을 늘리기 위해 나온 것이 가상 스레드다.  2) 트래픽이 많음 + IO가 많이 발생함 + 요청마다 쓰레드를 만드는 방식- 이 방식을 사용하게되면 스레드가 메모리를 사용하기 때문에 많은 메모리가 사용된다.- IO가 발생하면 응답 대기 (blocking) 되는 시간, 컨텍스트 스위칭에 따른 CPU 낭비가 발생함.- 위와 같은 문제 때문에 스레드를 늘리고 싶어도 늘리지 못한다. 그리고 서버들은 스레드를 pool로 관리한다..

Virtual Thread를 적용했을 때 운영적인 측면에 대해 생각해보자.    1) tomcat-biz 가 하나의 spring boot application이다. 즉 두 개의 서버가 있고, 하나의 db가 있다.2) client 요청이 오면 톰켓이 받고 biz 로직에 따라 db 쿼리를 처리한다.   여기에 virtual thread를 사용하여 성능을 높일 수 있다. 그리고 서버 한 대를 줄이는 것을 고민하였다.  이 경우 아무런 이슈가 생기지 않을까?   tomcat 은 200개의 요청이 400개로 늘어났다. 다만 virtual thread이기 때문에 thread의 개수 제한이 거의 없다고 볼 수 있기 때문에 이는 문제가 되지 않는다.   생각해야할 지점은 DB이다. 기존은 HikariCP를 이용해 Co..

하나의 Spring Boot Application 인데, 이 안에 주문과 배송 등이 구현되어 있다고 가정해보자.   이 때 주문은 Virtual Thread를 사용하고, 다른 비즈니스에서는 CPU를 많이 사용하기 때문에 Platform Thread 를 사용하면서 사용할 수 있다. 만약, yml에 spring-virtual-enable-true로 설정한다면 virtual thread 로 바뀌기 때문에 Platform thread를 사용할 수 없다.  @Configuration@Slf4jpublic class SchedulerConfig { @Bean public ThreadPoolTaskScheduler threadPoolTaskScheduler() { ThreadPoolTaskS..

스케줄러에서 virtual thread가 잘 종료되는지 확인해보자.  import lombok.extern.slf4j.Slf4j;import org.springframework.scheduling.annotation.Scheduled;import org.springframework.stereotype.Service;@Service@Slf4jpublic class VirtualScheduler { @Scheduled(fixedRate = 5000) public void fixedRate() { log.info("fixedRate. thread: {}", Thread.currentThread()); }}import org.springframework.boot.SpringAppli..

Controller.java@GetMapping("/async")public void async() { log.info("1) async. thread: {}", Thread.currentThread()); virtualService.async(); log.info("2) async. thread: {}", Thread.currentThread());}   Service.javaimport lombok.extern.slf4j.Slf4j;import org.springframework.scheduling.annotation.Async;import org.springframework.stereotype.Service;@Service@Slf4jpublic class VirtualService ..

spring: output: ansi: enabled: ALWAYS threads: virtual: enabled: true task: scheduling: thread-name-prefix: mySch- yml 파일에 spring.thread.virtual.enavled = true 로 설정해주면 스프링이 기존 thread pool 의 동작을 모두 virtual thread pool 로 대체해준다.  RestController 에서 사용하는 Tomcat의 Thread가 어떻게 Virtual Thread로 동작하는지 살펴보자.@GetMapping("/sleep")public void sleep() throws InterruptedException { ..

1) IO 바운드 작업 비교 private static final Runnable ioBoundRunnable = new Runnable() { @Override public void run() { log.info("1) run. thread: " + Thread.currentThread()); try { Thread.sleep(5000); } catch (InterruptedException e) { throw new RuntimeException(e); } log.info("2) run. thread: " + Thread.currentThread()); }};private static..