덴츠의 10가지 교훈 (Dentsu’s lessons)
“공짜 성공은 없다”! 세계 제일의 일본 광고 회사 덴츠(Dentsu, 電通) 에서는 모든 직원이 일류가 되라는 의미에서 10가지 행동 수칙을 지키도록 합니다. 일은 스스로 만들라 주어지기를 기다려서는 안 된다. 일이란 항상 …
VDI 서비스 – VM 배포 (VM Distribution)
VM 설치할 호스트 준비되어 있고, base OS 준비되어 있다면 이제 VM를 배포해봅시다. VM 이미지 준비 qcow2 이미지는 /var/lib/libvirt/images 에 넣고 xml 파일은 로컬 디렉토리에 두고 xml이 있는 곳에서 VM을 정의합니다. …
VDI 서비스 – VM 서버 환경 (VM Host setup)
VM 서비스용 서버 환경 만들기 개인적으로 public cloud 에서 VM 1개를 사용 중에 있습니다. 2core, 4GB RAM, 128GB Disk를 사용하고, 매달 60$ 를 지급합니다. (2024년 Cloudway) Debian Linux에 들어가, cpuinfo를 …
Data Center – Cloud Platform
Cloud Platform 이란? Cloud 환경을 구축 하기 위해 다양한 Baremetal 서버, VM기반 또는 Container 기반 가상화 기술을 제공하는 Platform VNF – Virtual Network Function CNF – Containerized Network Function Platform …
데이터 사이언스 – 가설 검정
가설 검정 𝐻0: 귀무 가설(Null Hypothesis) 𝐻1: 대립 가설(Alternative Hypothesis) ex) 무죄 추정의 원칙 𝐻0: 피고는 무죄입니다. 𝐻1: 피고는 유죄입니다. 검사는 피고는 유죄임을 입증하는 증거를 제시하여 피고가 유죄라는 것을 밝힙니다. …
Data Center – Network Cables
데이터 센터 내에서는 장비와 장비 사이 다양한 통신 케이블이 사용됩니다. Copper Cable 여러 종류 Copper Cable 이 있지만, 주로 사용하는 Cable은 UTP 케이블 입니다. UTP ( Unshielded Twisted Pair) 는 …
Data Center – 전기(Electricity)
서버는 전력을 많이 소모합니다. CPU 가 계속 성능이 좋아지고, core 수가 늘어나지만, 소모 전력도 늘어나고 있습니다. 최근 Intel CPU인 Sapphire Rapid 32core 도 300W 전력을 소모합니다. NVIDIA GPU인 H100 는 …
Data Center – Cooling
데이터 센터는 어떤 서버, 스토리지를 운영 하는가에 따라, 공조 방식 , 구조가 결정됩니다. 1개 서버랙에 20kW 이상 전력이 소모되는 곳은, Direct Liquid Cooling 이 사용되기도 합니다. 20kW 미만 전력이 소모되는 …
데이터 사이언스 – 확률 분포
확률 분포 확률 변수 기대값 E[X] 분산 V(X) 공분산 COV(X, Y) 표본평균의 모평균과 모분산 이산형 확률 분포 연속형 확률 분포 scipy.stats ex) n = 200, p = 0.4 인 이항분포에서 …
데이터 사이언스 – 확률 (Probability)
확률 일반 확률의 기본 요소 확률 어떤 사건이 일어날 가능성을 0에서 1사이의 수로 나타낸 것입니다. 확률의 연산 독립 사건 사건 A, B가 독립이라는 것은 하나의 사건이 다른 사건에 아무런 영향을 …
Data Center – Network : LACP
LACP Link Aggregation Control Protocol Ethernet Link는 100Mbps, 1G, 10G, 25G, 50G, 100G, 400G 와 같이 discrete 하게 정해진 speed를 지원하고 있습니다. 그런데, 200Mbps와 같이 지원하지 않지만, 100Mbps 보다는 좀더 …
Data Center – Network : Loop Resolution
Loop 차단 Spanning Tree 를 가지고 어떻게 Loop를 해결 하는지 살펴봅시다. 각 스위치에 Spanning Tree 설정 상태를 보면, Priority는 모두 0x8000 이고, MAC 주소 부분이 1, 2, 3 이라 Bridge1 …
Data Center – Network : Switch
표준 문서에는 Bridge 라는 용어도 많이 쓰긴 한데, 최근 네트워크 장비를 부를 때는 스위치라는 용어를 자주 사용하니, 앞으로 스위치로 통일해서 부르겠습니다. 스위치 기본 구조 스위치는 패킷을 한 포트에서 받아서, 다른 …
Data Center – Network : VLAN
VLAN Virtual Local Area Network Ethernet 이 사실상 LAN (Local Area Network) 표준 기술로 사용 중에 있다. Ethernet Packet 을 여러 metric로 분류 할 수 있지만, 맨 앞에 있는 Layer …
데이터 사이언스 – 데이터 시각화
데이터 시각화 데이터 전처리 1. 바이올린 플롯(Viloin Plot) 특징 ex) df_space의 Age를 바이올린 플롯으로 출력합니다. ex) df_space에서 중심축 좌우를 Transported로 구분하고 x축은 HomePlanet으로, y축은 Age로 하여 바이올린 플롯으로 출력합니다. 2. …
데이터 사이언스 – 데이터 변환
데이터 변환 1. 수치형 데이터 정규화(Normalize) ex) df_titanic에서 Age와 Fare의 최소값은 0, 최대값이 1이 되도록 변환합니다. 변환된 값을 변수명 뒤에 _n 을 붙여 Age_n, Fare_n 으로 저장합니다. ex) df_titanic에서 Age와 …
얀테의 법칙 (The law of Jante)
북유럽인들의 정신 강령 얀테의 법칙 10계명 Jante’s 10 rules 1933년 악셀 산데모제라는 덴마크 작가의 책 “도망자, 지난 발자취를 되밟다”에 등장한 얀테의 법칙은 덴마크와 대다수 복유럽 인들의 일상 속에서 따르는 10가지 …
잘 몰라도 도전해야 할 때
실패를 두려워 말자 우리는 가치관이 정리되지 않은 어린 시절을 거치면서, 남들이 좋다고 하는 것들을 따라가며 선택하면서 대부분 살아 간다. 사실, 내가 누군인지 잘 모르고 사는 사람이 많다. 자신이 무엇을 좋아하는지 …
데이터 사이언스 – 결측치,이상값 처리
1. 결측치 처리 (Missing Values) 결측 데이터 제거 결측이 있는 데이터들을 제거합니다. 결측을 제거 한 후 결과를 확인해 봅니다. 단순 대체 범주형 데이터 ex) Embarked 를 보니 아래와 같이 결측이 …
데이터 사이언스 – 데이터 분류
데이터의 종류에는 어떤 것들이 있는지 정리해봅니다. 1.데이터의 종류 정형 데이터(Structured Data) ex) CSV 파일, 관계형 DB 테이블 정형 데이터의 분류 df_titanic = pd.read_csv(‘data/titanic.csv’)df_titanic.head() df_titanic[[‘Survived’, ‘Pclass’, ‘Sex’, ‘Embarked’]].apply( lambda x: x.loc[x.notna()].unique().tolist() …