[
]
데이터 흐름(Data Pipeline)관리
DT의 필수요소
데이터가 21세기의 원유라고 불리우는 세상이 되었습니다. 그로인해 많은 기업들은 DT(Digital Transformation)를 진행하며 아날로그에서 디지털로의 체질 전환을 꾀하고 있습니다.
원유가 정제하는 과정을 거쳐서 다양한 산업에 활용이 되었듯이 데이터 역시 수 많은 과정과 비용을 들여 목적에 맞는 의미있는 데이터가 됩니다.
이런 과정은 빅데이터 또는 인공지능 시대로 넘어오면서 데이터 흐름(Data Pipeline) 구축을 필요로 하는 것으로 더욱 중요해지고 있는 상황입니다.
데이터 흐름(Data Pipeline) 구축은 전통적으로 ETL이라 불리우며 데이터 웨어하우스 환경에서 일괄 처리 작업을 하는데 사용되어 왔었습니다. 하지만 기술의 발달과 데이터의 폭발적 증가로 인해 빅데이터 시대가 열린 이후로는 전통적 데이터 웨어하우스 이상의 통합을 지원하도록 진화를 필요로 하고 있습니다.
전통적인 Legacy 시스템으로부터의 배치성 데이터에 더해 종류가 다양(정형/반정형/비정형)하고 수 많은 소스(DBMS, Documents, Key-Value, Text, Files, Crawling ...)와 실시간으로 발생하는 스트림 데이터까지 그 대상은 계속 확대되고 있습니다.
여기에는 당연하게도 수 많은 기술과 솔루션 그리고 비용이 필요로 합니다.
아이엠그루는 데이터웨어하우스 그리고 데이터레이크 및 데이터허브를 요구사항에 맞춰 구축한 경험과 실시간데이터 적재/분석 경험까지 데이터의 수집과 추출 그리고 변환 및 적재에 분석까지 다양한 경험과 케이스에 맞는 가장 효율적이고 트렌디한 솔루션을 보유하고 있습니다.