BAM 파일 읽는 법

by

간단하게 “BAM 파일 읽는 법 “을 정리해보았습니다. 그 전에 우선 BAM 파일은 어떤 파일인지 알아볼까요? BAM 파일은 reference genome에 mapping한 결과를 보여주는 파일입니다. BAM, SAM, CRAM 모두..

Pub/Sub 구조 이해하기

by
Pub/Sub 모델에서 메시지 전달

pub/sub (publish/subscribe) 구조는 게시자가 구독자를 알 필요 없이 Topic에 메시지를 보내는 반면, 구독자는 게시자를 알 필요 없이 관심 있는 주제로부터 메시지를 받는 메시징 패턴입니다.

게시자와 구독자를 분리하면 분산 시스템에서 확장 가능하고 유연한 통신이 가능해지는데요.

메시징 시스템 (Redis, RabbitMQ, Kafka) : 동작 원리, 특징, 차이점

by
redis cache

“메시징 시스템”은 메시지를 보내고 받음으로써 서로 다른 애플리케이션이나 서비스 간의 통신을 가능하게 하는 소프트웨어 인프라입니다. 이 시스템은 일반적으로 메시지를 보내는 프로듀서, 메시지를 받는 컨슈머, 프로듀서에서 컨슈머로 …

Kafka 이해하기 1. 실시간 데이터

by
카프카 실시간 데이터

실시간 데이터 처리에는 일반적으로 대기 시간을 최소화하면서 데이터가 생성될 때 지속적으로 데이터를 수집, 분석 및 처리하는 작업을 의미합니다. 이를 통해 사기 탐지, 실시간 분석, 모니터링 시스템과 같은 애플리케이션에 중요한 즉각적인 통찰력과 대응이 가능해집니다.

Spark 이해하기 4. Spark Action

by
스파크 action

Apache Spark Action 은 RDD(Resilient Distributed Dataset)의 변환에 의해 정의된 전체 계산 계획의 실행을 트리거하는 작업입니다. action은 Spark에 계산을 수행하고 결과를 생성하도록 지시하여 Spark가 클러스터 노드에서 실행될 작업을 시작하도록 합니다. action의 예로는 RDD의 모든 데이터를 드라이버 프로그램으로 검색하는 ‘collect()’, RDD의 요소 수를 계산하는 ‘count()’ 등이 있습니다. Spark Action 함수 정리 Action Function Purpose Example Input … Read more