진진진 개발일지

1. 거대 언어 모델의 등장과 혁신트랜스포머 등장부터 GPT-4까지Google 트랜스포머 이후 불과 7년, GPT-4o에 이르기까지 급속도의 발전이 이루어짐2019 GPT-22021 GPT-32023 GPT-4LLM, 과업 수행의 양상을 바꾸다서로 다른 과업을 수행하려면 개별 과업에 특화된 데이터셋 확보 후 과업에 맞는 모델을 구축해야 했음GPT를 비롯한 거대 언어 모델의 등장단일한 모델로 여러 과업을 해결 가능범용 인공지능 AGI의 가능성 대두, 연구와 산업 전반에서의 큰 변화트랜스포머 기반 언어이해모델 BERT, GPT 등트랜스포머의 병렬처리 특징으로 인해 가능교육에서 산업까지 LLM의 파급력과제 수행 등 교육의 모든 과정에서 LLM 활용 가능성이 위협으로 변모AI & ChatGPT Guidance ..

1. 대한민국 데이터 정책 거버넌스데이터 거버넌스데이터 거버넌스데이터의 생성, 변경, 처리 등에 관하여 정의된 표준데이터 거버넌스르 통해 조직 내에 존재하는 데이터의 품질을 제고하고 데이터와 관련한 보안을 강화할 수 있음데이터 정책 거버넌스데이터 정책을 담당하는 주요 부처 및 부서의 기능을 조정하여 데이터 정책의 목표를 달성해나가는 추진 체계를 일컫는 말넓은 의미에서는 관련 법률과 종합계획까지 포괄 공공데이터의 컨트롤 타워행정안전부 디지털정부혁신실디지털정부정책국정부혁신국공공데이터국공공서비스국공공데이터정책과공공데이터관리과통합데이터분석센터디지털정부혁신실 주요 업무온라인 기반의 효율적인 디지털 정부 구현 및 디지털 정부 국제 협력 확대국민의 삶과 밀접히 연관되어 있는 공공데이터의 개방과 이용 활성화모바일 전자..

1. 지표를 이용한 연관규칙의 분석연관분석의 지표Support(지지도): 이걸 본 사람이 얼마나 많을까?support(A): A가 등장하는 트랜잭션의 비율support(A -> B): A와 B가 모두 등장하는 트랜잭션의 비율Confidence(신뢰도): 이걸 본 사람은 저것도 봤을까?confidence(A -> B): A가 등장하는 트랜잭션 중, B까지 등장하는 비율confidence(A -> B) = support(A->B) / support(A)높은 confidence를 갖는 연관규칙을 반드시 유의미하다고 볼 수 있나?lift(향상도)lift(A -> B) = confidence(A -> B) / support(B)support(B)가 높아 confidence(A -> B) 값이 높아지는 것을 방지l..

1. K-평균 군집화와 퍼지 군집화K-Means Clustering사전에 군집의 개수 K를 결정각 군집에는 중심이 존재하게 되는데, 중심과 군집 내 데이터 거리 차의 제곱 합을 최소로 하는 최적 군집을 찾음일단 중심 K개를 찍고 반복Python에서의 K-평균 군집화# 알고리즘 수행을 위해 필요한 라이브러리import matplotlib.pyplot as pltimport pandas as pdfrom sklearn.cluster import KMeansplt.figure(figsize = (10, 5))# K-means Clustering의 실제df = pd.read_csv('menu.csv', engine = 'python')df_data = df[['가격', '판매량']] # 군집화하기 위해 사용할 ..

1. k-최근접 이웃에 기반한 분류k-Nearest Neighbor(k-최근접 이웃, k-NN)가장 가까운 이웃 k개를 바탕으로 분류를 수행하는 방법데이터가 주어질 때마다 연산을 통한 분류가 이루어지므로, 엄밀하게는 학습이라고 하기 어려움 Python에서의 k-NN# 필수 라이브러리 불러오기import pandas as pdfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import confusion_matrix# 지뢰와 보물 데이터 불러오기df = pd.read_csv('treasure.csv')# 주어진 데이터에서 입력 변수와 예측..

1. 가명 정보와 데이터 비식별화 국내법에 따른 정보의 분류 개인 정보: 주소, 휴대 전화 번호 등 특정 개인에 관한 정보 사전에 구체적 동의를 받아 제한된 범위에서 활용 가능 가명 정보: 추가 정보가 주어지지 않으면 개인을 알아볼 수 없는 정보 연구, 통계 작성 등에 한해 동의 없이 활용 가능 추가 정보: 암호화 당시 쓰인 키, 가명 처리 시 활용된 매핑 테이블, 가명 처리 알고리즘의 파라미터 등 익명 정보: 추가 정보가 주어져도 개인을 전혀 알아볼 수 없는 정보 활용 목적에 무관하게 자유로이 활용 가능 개인정보보호법의 적용 대상이 아님 데이터를 더 가치 있게, 비식별화 데이터 비식별화(De-Identification, Anonymization) 데이터 내에 개인 식별이 가능한 정보가 존재하는 경우, ..

1. 정규화와 회귀에 대한 평가 선형 회귀 식, 데이터에 얼마나 걸맞나 R^2 (R-squared, 결정계수) 종속 변수의 변동 중 몇 퍼센트만큼을 이 회귀 모형이 설명할 수 있는가? 독립 변수를 더 다양하게 투입할 수록 값이 늘어나는 경향을 띔 관계가 없는 속성을 독립변수로 추가할 때에도 R^2 값이 증가 adjusted R^2 (adjusted R-squared, 수정된 결정계수) N: validation set의 데이터 개수, p: 독립 변수의 개수 독립 변수의 개수가 많아져도, 무작정 R^2이 증가하지 않음 성능 지표 계산을 위한 라이브러리 # 성능 지표 계산을 위해 필요한 라이브러리 불러오기 from sklearn.metrics import r2_score # 결정계수 from sklearn.m..

1. 상관계수와 상관분석의 기초 두 변량의 상관관계는? 상관계수 Pearson Correlation Coefficient 두 변수 사이에 존재하는 선형적인 상관관계를 수치로 나타낸 것 크기는 -1 ~ +1으로, 값이 0일 경우 상관관계가 없는 것임 부호가 (+)이면 양의 상관관계, 부호가 (-)이면 음의 상관관계를 의미 DataFrame 내에서의 상관계수 도출 english.csv : TOEIC, TEPS, TOEFL의 점수 파일 import pandas as pd df = pd.read_csv('english.csv') df_corr = df.corr(method = 'pearson') df_corr 주어진 데이터 중 결측치가 부분적으로 존재할 때 pandas는 어떻게 상관계수를 계산? 해당 데이터 쌍..

1. 공공데이터 품질 관리와 오류율 데이터 품질 지표(DQI) 일관성: 데이터 품질 오류율의 표준 오류율과 직결된 세부 지표: 속성 / 표준 / 중복값 / 연계값 개체의 속성이 표준을 준수하고 있으며 중복되지는 않는가? 데이터 연계에 있어서 일관성이 유지되고 있는가? 완전성: 데이터 품질 오류율의 구조 오류율과 직결된 세부 지표: 논리 모델 / 식별자 / 물리구조 / 속성의미 데이터베이스 구축에 있어 논리적 설계와 물리적 구조가 올바르게 구축되었는가? 정확성: 데이터 품질 오류율의 값 오류율과 직결된 세부 지표: 입력값 / 업무규칙 / 범위, 형식 / 참조관계 / 계산식 데이터가 유효한 범위 및 형식으로 구성되어 있는가? 준비성 데이터 품질 관리 정책 및 지침이 기관에 맞게끔 잘 정의되어 있는가? 경영자..

공공데이터의 뜻과 관리 지침 공공데이터의 뜻과 공공데이터법 공공데이터법: 공공데이터의 제공 및 이용 활성화에 관한 법률 공공기관이 일상적 업무수행의 결과물로 생성 또는 취득하여 관리하고 있는 다양한 형태의 모든 자료 또는 정보 공공기관장은 기계 판독(Machine-readable)이 가능한 형태의 공공데이터를 정비하고자 노력해야 함 기계 판독과 Open Data 5 Star 🌟: 특정 SW에서 읽기만 가능, 자유로운 수정 및 변환 불가 / ex. PDF -> 미충족 포맷 🌟 🌟 : 특정 SW에서 읽기, 수정, 변환 가능 / ex. HWP, JPG, PNG, MP3 🌟 🌟 🌟 : 적어도 하나의 비독점적 SW에서 읽기, 수정, 변환 가능 / ex. CSV, JSON, XML 🌟 🌟 🌟 🌟 : URI에 기초하..