대량의 배치 데이터를 처리하는 방법 및 스트림 데이터 처리 방법
- 작성자
- 관리자
- 작성일자
- 2025-10-23
- 조회수
- 22
Q
* 스트림 데이터 처리 방법
* 배치 처리 방식과 차이점
* 관련 예제 및 가이드 제공
A
■ 스트림 데이터 처리 방법 가이드
* 스트림 데이터란?
수도관의 물처럼 연속적인 흐름의 데이터이며 실시간성을 요하는 데이터
■ 배치 처리 방법 가이드
* 배치 처리란?
대량의 데이터를 일괄로 정해진 시간에 처리 또는 가공하는 것
■ Data Stream , Batch 비교
비동기 데이터 처리는 지속적으로 발생하는 데이터에 대하여 실시간으로 처리 하는데 주요 목적이 있으며, 시간에 비교적 민감한 자료의 처리에 적합하며 다양한 지리적 위치에서 다양한 형식으로 전달될 수 있다.
■ 데이터 스트림 구성요소
* Spring Cloud Data Stream v3.2.8
* Apache kafka / Kafka-UI
* Mongo DB
* RabbitMQ
* Raspberry Pi (IOT)
■ 데이터 스트림 연계유형 예제
* Service mesh 구성도
* 연계 유형
■ 참고자료
* 실행환경 데이터 스트림 가이드 문서
egovframework:rte4.3:itl:cloud_data_stream [eGovFrame]
* 실행환경 데이터 스트림 예제 다운로드
실행환경 - 예제 다운로드 | 표준프레임워크 포털 eGovFrame
* Cloud Data Stream 환경설정
https://www.egovframe.go.kr/wiki/doku.php?id=egovframework:rte2:rex:clouddatastream
* Data Stream Publish 예제
https://www.egovframe.go.kr/wiki/doku.php?id=egovframework:rte4:rex:publish_data_stream
* Data Stream Subscribe 예제
https://www.egovframe.go.kr/wiki/doku.php?id=egovframework:rte4:rex:subscribe_data_stream
* 스트림 데이터란?
수도관의 물처럼 연속적인 흐름의 데이터이며 실시간성을 요하는 데이터
■ 배치 처리 방법 가이드
* 배치 처리란?
대량의 데이터를 일괄로 정해진 시간에 처리 또는 가공하는 것
■ Data Stream , Batch 비교
비동기 데이터 처리는 지속적으로 발생하는 데이터에 대하여 실시간으로 처리 하는데 주요 목적이 있으며, 시간에 비교적 민감한 자료의 처리에 적합하며 다양한 지리적 위치에서 다양한 형식으로 전달될 수 있다.
| 배치 처리 | 비동기 데이터 처리 |
|---|---|
| 한정된 대량의 데이터 | 지속적으로 데이터가 발생 |
| 스케줄러를 사용하여 특정 시간에 처리 | 데이터 발생주기는 일정한 경우와 불규칙한 경우 모두 가능 |
| 일괄로 정해진 묶음단위 처리 | 데이터를 실시간으로 처리 |
■ 데이터 스트림 구성요소
* Spring Cloud Data Stream v3.2.8
* Apache kafka / Kafka-UI
* Mongo DB
* RabbitMQ
* Raspberry Pi (IOT)
■ 데이터 스트림 연계유형 예제
* Service mesh 구성도
* 연계 유형
| 순번 | 유형 | 발행 | Messsage Broker | 구독 | 비고 |
|---|---|---|---|---|---|
| 1 | IOT | 온습도 센서 | RabbitMQ | Websocket(Google Chart) | |
| 2 | Log | Logback Appender | Apache Kafka | OpenSearch | OpenLogstash로 자료 처리 및 연동 |
| 3 | File | Line 기반 파일 | Apache Kafka | Websocket | |
| 4 | DB | H2 DB | Apache Kafka | Websocket(Google Chart) | |
| 5 | Open API | 지하철 전동차 정보 | Apache Kafka | MongoDB | 구독 데이터 저장 |
■ 참고자료
* 실행환경 데이터 스트림 가이드 문서
egovframework:rte4.3:itl:cloud_data_stream [eGovFrame]
* 실행환경 데이터 스트림 예제 다운로드
실행환경 - 예제 다운로드 | 표준프레임워크 포털 eGovFrame
* Cloud Data Stream 환경설정
https://www.egovframe.go.kr/wiki/doku.php?id=egovframework:rte2:rex:clouddatastream
* Data Stream Publish 예제
https://www.egovframe.go.kr/wiki/doku.php?id=egovframework:rte4:rex:publish_data_stream
* Data Stream Subscribe 예제
https://www.egovframe.go.kr/wiki/doku.php?id=egovframework:rte4:rex:subscribe_data_stream
