전체 글

[2017 팁스타운] 예상 대진표 - Level 2

코딩테스트 연습 - 예상 대진표 △△ 게임대회가 개최되었습니다. 이 대회는 N명이 참가하고, 토너먼트 형식으로 진행됩니다. N명의 참가자는 각각 1부터 N번을 차례대로 배정받습니다. 그리고, 1번↔2번, 3번↔4번, ... , N-1번↔N programmers.co.kr 문제 설명 △△ 게임대회가 개최되었습니다. 이 대회는 N명이 참가하고, 토너먼트 형식으로 진행됩니다. N명의 참가자는 각각 1부터 N번을 차례대로 배정받습니다. 그리고, 1번↔2번, 3번↔4번, ... , N-1번↔N번의 참가자끼리 게임을 진행합니다. 각 게임에서 이긴 사람은 다음 라운드에 진출할 수 있습니다. 이때, 다음 라운드에 진출할 참가자의 번호는 다시 1번부터 N/2번을 차례대로 배정받습니다. 만약 1번↔2번 끼리 겨루는 게임에..

[Spark] RDD(Resillient Distributed Data)란?

Spark 의 데이터 구조 Spark 의 데이터 구조는 아래와 같이 크게 3가지 종류로 분류할 수 있다. RDD (Resillient Distributed Data) Dataframe Dataset 이 중 RDD는 Spark에 가장 먼저 도입된 데이터 구조이다. RDD 개념 RDD(Resillient Distributed Data)란? Resillient (회복력 있는, 변하지 않는) 메모리 내부의 데이터가 손실되었을 때, 유실된 파티션을 재연산해 데이터를 복구할 수 있음 Distributed (분산된) 스파크 클러스터를 통하여, 메모리에 분산되어 저장됨 Data 파일, 정보 등의 데이터 즉, RDD 는 여러 분산 노드에 걸쳐 저장되는, 변경이 불가능한 데이터의 집합이다. 따라서, RDD 를 변경하기 위..

데이터 엔지니어링이란?

데이터 엔지니어링이란 데이터를 가져와 분석하기 좋은 형태로 가공하는 것이다. 데이터 가공 작업을 ETL(Extractingm Transforming, Loading) 작업이라 하며, 데이터를 추출, 변형, 저장하는 작업이다. 요즘에는 기존의 ETL 방식에서 ELT 방식의 아키텍쳐로 변환하고 있다. 시스템의 복잡도에 따라 데이터 추출과 적재를 한번에 하기도 한다. 데이터 아키텍쳐 분야를 크게 6가지로 나누어 보면 아래의 표로 나타낼 수 있다. Source 비즈니스와 운영 데이터 생성 Ingestion & Transformation 운영 시스템에서 데이터 추출 (E) 추출된 데이터를 저장하고 스키마 관리 (L) 데이터를 분석할 수 있도록 변환 (T) Storage 데이터를 쿼리와 처리 시스템이 쓸 수있도록저..

[Mac OS] Java (OpenJDK) 설치 및 버전 변경하기

Java (OpenJDK) 설치 adoptopenjdk/openjdk 저장소 추가 brew tap adoptopenjdk/openjdk cask 설치 brew install cask OpenJDK 8 brew install --cask adoptopenjdk8 설치 여부 확인 java -version openjdk 16.0.1 2021-04-20 OpenJDK Runtime Environment Zulu16.30+19-CA (build 16.0.1+9) OpenJDK 64-Bit Server VM Zulu16.30+19-CA (build 16.0.1+9, mixed mode) Java (OpenJDK) 버전 변경하기 Java Virtual Machines 목록 확인 /usr/libexec/java_hom..