스프링부트 배치

Posted on Disqus:

스프링 배치는 대량의 데이터를 처리하는 데 유용한 오픈소스 프레임워크이다. 이를 이용하여 데이터베이스나 파일 시스템과 같은 데이터 저장소에서 데이터를 추출하고 가공한 후, 다시 저장소에 저장하는 등의 작업을 수행할 수 있다. 이를 통해 대량의 데이터를 효율적으로 처리할 수 있으며, 이를 자동화하여 일괄처리를 가능하게 하여 개발자의 업무 효율성을 높일 수 있다.

스프링 배치의 장점은 다음과 같다.

  • 대량의 데이터를 처리하는데 최적화되어 있다.
  • 배치 작업의 이력을 관리하며, 실패한 작업을 다시 수행할 수 있다.
  • 스케줄링 기능을 지원하여 주기적인 작업을 자동화할 수 있다.
  • 재사용성이 높은 컴포넌트 기반 아키텍처를 제공한다.

따라서, 대량의 데이터를 처리하고자 할 때 스프링 배치를 사용하는 것이 유용하며, 스프링 프레임워크를 사용하는 경우에는 쉽게 연동하여 사용할 수 있다.

사용 선택 기준

스프링 배치를 사용하는 것이 적절한 경우는 대량의 데이터를 처리해야 할 때입니다. 이를 자동화하여 일괄 처리하고자 하는 경우에도 스프링 배치는 유용합니다. 예를 들어, 은행에서는 매일 수백만 건의 거래 데이터를 처리해야 하므로, 이를 스프링 배치를 이용하여 처리할 수 있습니다.

장점

  • 대량의 데이터를 처리하는 데 최적화되어 있습니다.
  • 배치 작업의 이력을 관리할 수 있어, 실패한 작업을 다시 수행할 수 있습니다.
  • 스케줄링 기능을 제공하여 주기적인 작업을 자동화할 수 있습니다.
  • 재사용성이 높은 컴포넌트 기반 아키텍처를 제공합니다.

단점

  • 배치 작업을 위한 코드를 작성하려면 일정한 학습 곡선이 필요합니다.
  • 배치 작업을 디버깅하고 문제를 해결하는 데 시간이 걸릴 수 있습니다.

멱등성은 어떻게 유지하는가?

멱등성이란, 같은 작업을 여러 번 수행해도 결과가 변하지 않는 성질을 말합니다. 스프링 배치에서는 이러한 멱등성을 유지하기 위해 여러 가지 방법을 제공합니다. 예를 들어, 아래와 같은 방법으로 멱등성을 유지할 수 있습니다.

  • BatchStatus 컬럼을 이용하여 이미 성공한 작업은 다시 수행하지 않도록 합니다.
  • JobInstance와 JobExecution의 ID를 이용하여 이미 실행한 작업을 식별하고 중복 실행을 방지합니다.

스프링 배치 메타데이터 테이블은 어떤 것이 있나?

스프링 배치에서는 배치 작업의 메타데이터를 저장하기 위한 테이블을 제공합니다. 이 테이블은 JobRepository 인터페이스를 통해 접근할 수 있습니다. 스프링 배치가 제공하는 기본 메타데이터 테이블은 다음과 같습니다.

  • BATCH_JOB_INSTANCE: JobInstance 정보를 저장합니다.
  • BATCH_JOB_EXECUTION: JobExecution 정보를 저장합니다.
  • BATCH_JOB_EXECUTION_CONTEXT: JobExecution의 ExecutionContext 정보를 저장합니다.
  • BATCH_STEP_EXECUTION: StepExecution 정보를 저장합니다.
  • BATCH_JOB_PARAMS: Job 파라미터 정보를 저장합니다.
  • BATCH_STEP_EXECUTION_CONTEXT: StepExecution의 ExecutionContext 정보를 저장합니다.

배치 실행 도중 실패시 처리 방법?

스프링 배치에서 배치 실행 도중 실패한 경우, 실패한 스텝을 재시도하거나 다음 스텝으로 진행하지 않고 중단하는 등의 처리 방법을 선택할 수 있습니다. 이러한 처리 방법을 설정하기 위해서는 Retry와 Skip 기능을 이용할 수 있습니다.

  • Retry: 스텝이 실패한 경우 지정된 횟수만큼 재시도합니다. 예를 들어, ItemReader에서 데이터를 읽어올 때 DB 커넥션 오류 등으로 인해 실패한 경우, 일정 시간이 지난 후에 다시 시도합니다.
  • Skip: 스텝이 실패한 경우, 실패한 데이터를 스킵하고 다음 데이터로 넘어갑니다. 이를 이용하여, 예외가 발생해도 작업이 중단되지 않도록 할 수 있습니다.

스프링 배치 멀티스레드, 파티션 방법과 차이점

스프링 배치에서 멀티스레드와 파티션 방법은 모두 대량의 데이터를 처리하는 데 사용됩니다. 멀티스레드는 스텝 내에서 다수의 스레드를 사용하여 처리 속도를 높이는 방법이고, 파티션 방법은 여러 개의 작은 작업 단위로 분할하여 병렬 처리하는 방법입니다. 두 방법의 차이점은 다음과 같습니다.

  • 멀티스레드: 스텝 내에서 스레드를 사용하여 처리합니다. 하나의 스텝을 여러 개의 스레드로 분할하여 처리할 수 있습니다. 처리 속도를 높일 수 있으나, 스레드 간의 동기화 문제나 데드락 등의 문제가 발생할 수 있습니다.
  • 파티션: 대량의 데이터를 작은 단위로 나누어 여러 개의 스텝으로 분할하여 처리합니다. 각각의 스텝은 병렬로 처리됩니다. 데이터 분할이 복잡하고 처리 과정에서 추가적인 오버헤드가 발생할 수 있습니다.

스프링배치에서 트랜잭션 관리를 왜 청크 단위로 하는지

스프링 배치에서 트랜잭션 관리는 청크 단위로 수행됩니다. 이는 대량의 데이터를 처리할 때 메모리 부족 현상을 방지하고, 롤백 시에도 데이터 일관성을 유지하기 위한 것입니다. 예를 들어, 10000건의 데이터를 처리하는데 트랜잭션 범위를 1건 단위로 처리하면, 10000번의 INSERT 작업마다 커밋을 수행해야 합니다. 이는 DB나 메모리 등에서 성능 저하를 일으킬 수 있으며, 롤백 시에도 일부 데이터만 롤백되어 데이터 일관성이 깨질 가능성이 있습니다. 하지만 청크 단위로 처리하면, 1000건 단위로 처리하면 10번의 INSERT 작업마다 커밋을 수행하므로 성능 저하 문제가 줄어들고, 롤백 시에도 청크 단위로 롤백되어 데이터 일관성이 유지됩니다.

테스킷 vs Reader/Writer 차이

테스킷(Tasklet)과 Reader/Writer는 스프링 배치에서 데이터 처리를 위해 사용되는 두 가지 방법입니다. 테스킷은 간단한 처리를 수행하고 스텝을 종료할 때 사용되는 반면, Reader/Writer는 대량의 데이터 처리를 위해 사용됩니다.

  • 테스킷: 스텝 내에서 수행되는 단일 작업입니다. 스텝 시작 시 한 번만 실행되며, 간단한 데이터 처리를 수행합니다. 예를 들어, 파일을 이동하거나, 이메일을 발송하는 등의 작업을 수행할 수 있습니다.
  • Reader/Writer: 대량의 데이터 처리를 위해 사용됩니다. Reader는 데이터를 읽어오고, Writer는 데이터를 저장합니다. 예를 들어, 데이터베이스에서 대량의 데이터를 읽어와서 파일로 저장하는 등의 작업을 수행할 수 있습니다.

배치 실행은? 젠킨스(실행 및 스케쥴링) 관점으로

젠킨스에서 스프링 배치를 실행하고 스케줄링하는 방법은 다음과 같습니다.

  1. 젠킨스 홈페이지에 접속합니다.
  2. 젠킨스 대시보드에서 “새로운 Item 생성” 버튼을 클릭합니다.
  3. “스프링 배치 프로젝트”를 선택합니다.
  4. 필요한 설정을 입력합니다. (프로젝트 이름, 저장소, 빌드 설정 등)
  5. “빌드 유발” 탭에서 “정기적으로 빌드”를 선택하고, 스케줄링을 설정합니다.
  6. “빌드” 탭에서 스프링 배치를 실행하는 명령어를 입력합니다. (예: java -jar batch.jar)

배치 보니터링 방법은? 지연되는 배치 등 모니터링 및 후속 처리 관점으로

스프링 배치의 모니터링 및 후속 처리는 스프링 배치가 제공하는 JobExplorer를 이용하여 수행할 수 있습니다. JobExplorer는 배치 작업의 상태를 조회하고, 재시작 및 중지 등의 제어를 수행할 수 있습니다. JobExplorer를 이용하여 지연되는 배치 작업 등을 모니터링하고, 후속 처리를 수행할 수 있습니다. 예를 들어, 아래와 같은 방법으로 JobExplorer를 이용하여 배치 작업을 모니터링할 수 있습니다.

  1. JobExplorer를 이용하여 JobInstance와 JobExecution 정보를 조회합니다.
  2. 조회한 정보를 이용하여 JobExecution의 상태를 확인하고, 작업이 지연되었는지 확인합니다.
  3. 작업이 지연되었을 경우, 작업을 재시작하거나 중지하는 등의 후속 처리를 수행합니다.