스플렁크를 이용한 머신러닝 분석 설명 > 머신러닝/AI

본문 바로가기
사이트 내 전체검색

머신러닝/AI

스플렁크를 이용한 머신러닝 분석 설명

페이지 정보

profile_image
작성자 jscho
댓글 0건 조회 119회 작성일 21-01-24 23:28

본문

안녕하세요. 스플렁크를 이용한 머신러닝 분석 설명 파일입니다.

- 스플렁크는 머신러닝을 구현하기 위해 머신러닝 툴킷이라는 앱을 제공
- 앱에 적용된 알고리즘은 140여개
- 그중에 자주 쓰는 30여개 알고리즘은 Usecase제공
- 아직까지 Tensorflow는 제공하지 않음.(Scikit-Learn 모듈제공)

이전에 올린 머신러닝 라이프싸이클과 관련해서 관련 모듈을 설명드리면

** 데이터 분석 라이프싸이클 관점(수집, 전처리, 알고리즘 모델링, 검증, 적용, 배포. . .  반복)

[스플렁크]

수집 - 스플렁크 Indexer
전처리 - SPL(스플렁크 쿼리 랭귀지, Search Processing Language), 기타 차트, 통계함수
알고리즘 모델링 - fit (SPL 명령어 - 스플렁크 머신러닝 툴킷 Scikit-Learn)
검증 - summary (SPL 명령어)
적용 - apply (SPL 명령어)
배포 - 스플렁크 스케줄러(saved search)

--> 거의 모든 작업이 SPL이라는 인터페이스 하나로 통일되어 있음

[일반 Python]

수집 - 일반 python 코딩
전처리 - Python(Numby-행렬계산 라이브러리, pandas-기초통계 라이브러리)
알고리즘 모델링 - Tensorflow , Scikit-Learn , PyTorch 등
검증 - Tensorflow , Scikit-Learn , PyTorch 등
적용 - 일반 python 코딩
배포 - 일반 python 코딩

Tensorflow나 Scikit-Learn 또는 PyTorch등의 복잡한 알고리즘 코딩을
효과적이고 간결화하기 위해서 Keras라는 Python 인터페이스 모듈이 중간에 들어가기도 함.
예 : 수집 python - 데이터 전처리 numpy,pandas - 쉬운 인터페이스 Keras - 머신러닝 알고리즘 Tensorflow,Scikit-Learn,PyTorch

스플렁크가 사용하고 있는 Scikit-Learn과 최근에 많이 사용되고 있는 Tensorflow를 비교하면
- Scikit-Learn은 기존에 사용자가 많고 사용이 쉽고 다양한 알고리즘(회귀분석, SVM, 베이지안 알고리즘... )을 제공함.
- Tensorflow는 최근에 인공신경망 분석 알고리즘등이 잘 제공되고 있고 보다 고도의 분석이 가능함(GPU지원)

등산을 할 때 자주 산을 오르는 것 보다 등산장비에 더 신경을 쓰는 경우가 있다
너도 나도 AI/머신러닝/텐서플로우 끊임없는 최신이슈에 관심을 가지고 있지만 어디에 어떻게 적용할지 잘 모르고 있는게 현실이며
실질적으로 필요한 것은 고객의 데이터를 잘 분석할 수 있는 환경과 정보를 제공하는 것이 머신러닝이 아닐까 생각합니다.

그런 관점에서 첨부파일은 많은 도움이 될 것으로 생각됩니다.

첨부파일

댓글목록

등록된 댓글이 없습니다.

회원로그인

회원가입

사이트 정보

회사명 : (주)리눅스데이타시스템 / 대표 : 정정모
서울본사 : 서울특별시 강남구 봉은사로 114길 40 홍선빌딩 2층 / tel : 02-6207-1160
대전지사 : 대전광역시 유성구 노은로174 도원프라자 5층 / tel : 042-331-1161

접속자집계

오늘
249
어제
240
최대
680
전체
28,271
Copyright © www.linuxdata.org All rights reserved.