[IT NEWS] AI·머신러닝 분석·빅데이터·고성능 워크로드 혁신 '초고성능 스토리지'
페이지 정보
작성자 ldskorea 작성일 21-09-14 15:10 조회 11,781 댓글 0본문
AI·머신러닝 분석·빅데이터·고성능 워크로드 혁신 '초고성능 스토리지' 기업 데이터 혁신 요구가 높아지면서 그래픽처리장치(GPU) 기반 인공지능(AI) 분석 트렌드가 확산되고 있다. GPU는 컴퓨팅 인프라를 40% 이상 줄일 수 있는 연산 성능을 제공하지만 그만큼 처리해야 할 데이터는 50% 이상 증가한다. GPU를 활용한 분석은 높은 대역폭과 빠른 응답 성능을 요구하고 만약 어느 구간의 리소스가 부족하면 큰 입출력(I/O) 병목현상이 발생하기도 한다. 그렇다고 성능 이슈가 발생할 때마다 컴퓨팅 리소스를 추가하는 것은 비효율적이다. 특히 레거시 스토리지로 인프라를 운영하면 성능과 확장성 모두 만족시키기 어렵다. 이처럼 데이터센터 내 GPU 서버가 많아질수록 고성능 스토리지에 대한 요구사항도 높아지고 있다. ◇증가하는 데이터 활용 요구 미국 Al 연구학회의 2020년 1월 조사에 따르면 기업 인프라와 운영 리더 85%가 향후 2년 내 Al를 인프라에 활용할 예정이라고 답했다. 이들 중 상당수는 Al 애플리케이션 활용에 관심이 높지만 증가하는 대규모 머신러닝 배포 데이터셋에 대한 스토리지 요구사항과 데이터 관리 이슈를 해결할 준비가 되지 않은 경우가 많다. 데이터 수집, 준비, 추론, 모델 트레이닝, 준비와 아카이브 등 데이터 관리 워크플로는 단계별로 고유의 컴퓨팅, 스토리지, 네트워킹이 필요하다. 이는 사일로 문제를 발생시키고 비용과 시간 투자가 증가할 수 있다. 데이터 수집단계에서는 멀티 프로토콜을 통해 다양한 소스에서 데이터를 취합할 수 있어야 한다. 준비 단계는 고성능이 요구되며, 추론 단계는 낮은 지연시간이 필수다. 모델 트레이닝에는 두 가지 모두 필요하다. 모든 단계에서 대규모 확장과 자동화된 데이터 관리가 필요하지만 이를 위해 예산을 무한정 늘릴 수는 없다. 효율적인 데이터 관리는 새로운 비즈니스 모델을 원활하게 적용하고 기업 경쟁력을 높이며 고객 경험과 충성도를 높인다. 상품과 서비스 출시 기간을 단축시켜 기업 비용은 절감시키고 이윤을 높일 수 있다.
<데이터 관리 단계별 요구사항의 차이> ◇데이터 레이크 구현의 해결사 '오브젝트 스토리지' 모든 데이터에서 인사이트를 얻고 싶다면 데이터 흐름을 알아야 한다. 그러나 기존 방식으로는 시간이 오래 걸리고 수집된 데이터가 '전부'인지 확신할 수 없다. 하지만 기업 데이터를 '한곳에 모아 놓고' 접근한다면 얘기가 달라진다. 데이터 저장과 관리를 위한 '데이터 레이크(Data Lake)'는 데이터 사일로 현상을 방지하고, '데이터 중앙공급소'로 분석을 위한 모든 종류 데이터 취합에 탁월하다. 데이터 레이크는 셀프서비스 분석 플랫폼으로도 활용되며 기업은 데이터 레이크를 활용해 미리 정해 놓은 목적 없이도 정보를 저장하고 분석할 수 있다. 특히 제조통신 등 산업 현장에서 생성되는 실시간 데이터까지 결합할 수 있어 기업 데이터를 혁신할 수 있다. 데이터가 증가하면 인프라 비용 부담도 함께 커져 기업은 유연성과 확장성이 뛰어난 클라우드로 데이터를 이전하고 있다. 그러나 제조통신 등 산업 현장에서 쏟아지는 에지 데이터를 포함해 증가하는 엄청난 양의 데이터 관리는 여전히 쉽지 않다. 필요한 장소에서 바로 데이터를 쓰고, 데이터 저장관리 비용을 줄이는 인프라가 절실히 요구된다. 오브젝트 스토리지를 필요로 하는 기업이 크게 늘고 있다. 대규모 데이터를 처리하면서 전체 데이터를 한 곳에 담아 놓고 필요할 때 꺼내 쓸 수 있는, 데이터 레이크 전략을 가장 비용 효율적으로 구현한 솔루션이 오브젝트 스토리지이기 때문이다. 오브젝트 스토리지는 데이터를 파일이나 블록이 아닌 객체 단위로 관리하고, 모든 유형의 정형·비정형 데이터를 지원한다. 기업은 사물인터넷(IoT) 센서 데이터나 동영상, 이미지 같은 새로운 유형 데이터는 물론 기업 내 쌓인 방대한 과거 데이터를 활용해 기업 비즈니스에 필요한 가치와 인사이트를 찾아낼 수 있다. 일례로 실시간 데이터 처리가 가능한 금융 분야에 비해 제조업은 '실시간 처리 및 분석'이 어려운 영역이었다. 그러나 오브젝트 스토리지 기반 데이터 레이크를 통해 간단한 분석으로 데이터를 바로 활용할 수 있다. 데이터 레이크는 고성능과 대규모 데이터 저장소가 필수며 두 조건을 충족하려면 '성능 제공'과 '데이터 수용' 균형이 맞아야 한다. 정형, 비정형, 반정형 데이터를 한 곳에 넣어 용도에 따라 꺼내 쓰고, 대형 생산라인에서 매초 쏟아지는 데이터를 실시간 분석하려는 기업에 오브젝트 스토리지 장점에 속도까지 겸비한 고성능 스토리지가 최적 선택이다. 자세한 내용은 전문 출처로 이동해주세요 :) |
댓글목록 0
등록된 댓글이 없습니다.