본문 바로가기

전체 글98

빅데이터 기초 프로그래밍 ⑬ Pandas 패키지 이해 및 활용 1. pandas 패키지 이해(1) pandas 패키지 개요- 빅데이터를 이용한 데이터 분석에 반드시 필요한 패키지 중 하나- 기능 : 보조 기억 장치의 데이터를 로드하여 분석 환경으로 가져옴, 데이터를 가공하고, 통계 기반에 정보를 추출하고, 시각화를 위한 자료 구조로 변환함, 이러한 여러가지 결과와 분석 결과를 가지고 다시 보조 기억 장치에 저장- 데이터 분석과 조작을 위한 데이터 구성 객체인 데이터 프레임 객체 제공- 고성능의 사용하기 쉬운 데이터 구조와 python 프로그래밍 언어를 위한 분석 도구 제공- in-memory DB 형태의 데이터 구성(고속 처리)- 다양한 데이터 형태를 데이터 프레임으로 통일시켜 상호작용을 가능하게 함- 다양한 데이터 조작 및 분석 가능(인덱싱, 슬라이싱, 서브셋, .. 2024. 12. 10.
데이터 모델링과 SQL ⑬ 기출문제 풀이 : 데이터 모델링의 이해, SQL 기본 및 활용 1. 1과목 데이터 모델링의 이해(1) 도메인이란- 도메인별로 데이터 타입과 길이를 지정한다- 각 엔터티 속성에 도메인을 할당한다- 속성을 가질수 있는 값의 집합이다- 공통으로 발생하는 명사는 하나의 도메인으로 생성한다- 속성을 명사로 구분한다(2) 반정규화 수행 시에 뷰 또는 클러스터링 기법을 적용해야 하는 단계는?- 다른 방법 결정 (반정규화 대상 확인 > 다른 방법 결정 > 반정규화 실행)2. 2과목 SQL 기본 및 활용(1) TRUNCATE TABLE 명령어 특성- 특정 행을 삭제할 수 없다- 테이블 내부 내용만 삭제하고 틀과 구조는 남는다- 테이블 용량은 줄어든다, 삭제한 데이터는 ROLLBACK 불가(2) 프로시저와 트리거- 프로시저는 COMMIT, ROLLBACK이 가능하지만 트리거는 불가-.. 2024. 12. 9.
빅데이터 분석 실무 ⑬ 분석 모델 평가, 분석 모델 개선 1. 분석 모델 평가(1) 분석 모델 평가 목적- 모델 평가 : 최종 분석 모델의 신뢰성을 입증해 모델의 타당성을 확보하기 위해 수행하는 절차- 예측값과 실제값을 비교하여 두 값의 오차를 측정하며 오차가 작을수록 모델의 성능이 우수함> 모델 평가의 목적- 신뢰성 기반 활용 기준- 효율성, 정확성- 일반화 가능성- 진단의 기준- 해석력(2) 회귀 모델 평가 지표- AE : 평균 오차, 실제값에서 예측값을 뺀 합의 평균- MAE : 평균 절대 오차, 실제값과 예측값의 차이의 절대값의 합의 평균 (오차의 합이 0이 되는 것을 방지)- MAPE :  평균 절대 백분율 오차, 평균 절대 오차를 퍼센트로 변환, AE의 크기가 다른 모델 비교에 용이- MPE : 평균 백분율 오차, 평균 절대 백분율 오차에서 절대값을.. 2024. 12. 8.
코딩테스트 입문 ⑬ 재귀, 백트래킹 1. 재귀 : 함수에 자기 자신을 호출1087210870import sys import math input = sys.stdin.readline N = int(input()) a = math.factorial(N) print(a)------------------------ 재귀 사용 --------------------------import sysinput = sys.stdin.readlinesys.setrecursionlimit(1000)def f(n) :    if n         return 1    return f(n-1) * nN = int(input())a = f(N)print(a)import sys import math input = sys.stdin.readline N = int(inpu.. 2024. 12. 7.
자바 스크립트 ⑬ Node.js, 요청 객체, 응답 객체, GET/POST, 파일 제공, npm과 package.json 1. Node.js(1) 기본 개념- 구글 크롬의 자바 스크립트 엔진(V8)에 기반해 만들어진 서버 사이드 플랫폼- 웹 서버가 아님(프로그램 랭귀지), 코드를 실행할 수 있는 하나의 방법- javasript 런타임(리얼 타임으로 진행 가능)- 비동기 I/O 처리, 이벤트 위주, 빠른 속도- 단일 쓰레드, 뛰어난 확장성, 노 버퍼링, MIT License 적용- Node.js 사용처 : eBay, GoDaddy, Microsoft, Paypal, Yahoo- 입출력이 잦은, 데이터 스트리밍 어플리케이션에 적합- 데이터를 실시간으로 다루고, JSON API 기반, 싱글 페이지 어플리케이션에 적합- 부적합한 곳 : CPU 사용률이 높은 어플리케이션(2) http 모듈과 서버 요청 테스트- 웹 서버 띄우기con.. 2024. 12. 6.

티스토리툴바