Infra/ELK

REST API 이번에는 elasticsearch의 활용방법을 소개하겠습니다. 그 전에 elasticsearch의 노드와 통신을 하는 방식을 설명하겠습니다. elasticsearch는 REST API를 제공하여 클러스터와 통신을 합니다. 간단히 REST API를 소개하고 데이터를 다뤄보겠습니다. REST API는 2000년도에 로이 필딩 (Roy Fielding)의 논문에서 공개되었습니다. 웹을 관통하는 HTTP의 주요 저자였던 필딩은 웹의 설계에 비해 제대로 활용되지 못하는 점을 보완하고 최대한 활용하기위해 공개하였습니다. 웹페이지 제작이나 API개발을 해보신 분들은 REST API에 대해 알 것이라 생각합니다. 현재 우리가 사용하는 많은 수의 웹페이지는 REST API를 통한 페이지간의 통신을 활용하..

Elasticsearch 구조 지난번에 기본적인 ELK stack의 설치와 실행을 확인했습니다. 이번에는 엘라스틱서치의 기본 구조부터 알아봅시다. 이번 내용은 이론적인 내용이 강해서 재미가 없을 수도 있습니다. 기본적으로 엘라스틱서치는 논리적 구조와 물리적 구조로 구분할 수 있습니다. 논리적 구조 우선 논리적 구조로는 도큐먼트(document), 타입(type), 필드(field), 인덱스(index), 매핑(mapping)로 구성됩니다. 1. 도큐먼트 (Document) - 도큐먼트는 엘라스틱서치의 데이터 최소 단위입니다. JSON 오브젝트 하나를 일컫습니다. 이 형태는 MongoDB와 같은 NoSQL에서도 사용을 하고 있습니다. 도큐먼트는 내부에 여러가지 필드로 구성되어 있습니다. 특이한 점이라면 도..

들어가며... 오늘부터 본격적으로 ElasticSearch와 Kibana, Logstash를 활용한 Bigdata processing과 visualization을 설명하겠습니다. 블로그 메인에도 있고 전체적인 포스팅의 분포를 보시면 알 수 있듯이 저는 Bigdata와 DataScience에 관심이 많습니다. 그래서 관련 공부도 많이 하고 있죠. 상당히 힘듭니다...ㅠㅠ 사실 작년 초부터 카카오 인재영입을 SNS로 팔로우하며 정보를 모으고 있던 와중 카카오 데이터 사이언티스트/플랫폼 개발자 채용 공고를 보았습니다. (취직을위해 알아봤다기보단 뭐가 필요한지 알기 위해서 입니다.) 해당 공고에서 요구했던 사항은 통계 지식, python등 많이 있었고 그 중에도 elasticsearch가 있었습니다. 물론 그때..