본문 바로가기
728x90

대학공부58

탐색적 데이터 분석(EDA)과 데이터 시각화 1. 공공데이터 품질 관리와 오류율 데이터 품질 지표(DQI) 일관성: 데이터 품질 오류율의 표준 오류율과 직결된 세부 지표: 속성 / 표준 / 중복값 / 연계값 개체의 속성이 표준을 준수하고 있으며 중복되지는 않는가? 데이터 연계에 있어서 일관성이 유지되고 있는가? 완전성: 데이터 품질 오류율의 구조 오류율과 직결된 세부 지표: 논리 모델 / 식별자 / 물리구조 / 속성의미 데이터베이스 구축에 있어 논리적 설계와 물리적 구조가 올바르게 구축되었는가? 정확성: 데이터 품질 오류율의 값 오류율과 직결된 세부 지표: 입력값 / 업무규칙 / 범위, 형식 / 참조관계 / 계산식 데이터가 유효한 범위 및 형식으로 구성되어 있는가? 준비성 데이터 품질 관리 정책 및 지침이 기관에 맞게끔 잘 정의되어 있는가? 경영자.. 2024. 3. 24.
네트워크의 구성요소 네트워크의 구성 공유기 -> ISP(인터넷 서비스 제공업체 ex. SKT, KT, U+ 등) 단말기를 통해 공유기로 접속 왼쪽 영역을 LAN, 오른쪽 영역을 WAN 구간이라고 함 네크워크 구성 요소 단말기(노트북, 컴퓨터)와 네트워크 서비스를 제공하는 프로그램 접속 장치(스위치, 라우터, 허브) L2 스위치: 한 네트워크 내부에서 데이터 전송을 수행하는 장치로 네트워크 입구 - 데이터 링크 계층(MAC 주소) 허브: 연결된 단말기 수만큼 속도가 1/N된다는 문제로 스위치가 등장 여러 개의 단말기에서 동시에 데이터를 전송할 때 충돌이 발생 Collision Domain: 충돌이 발생할 수 있는 범위 Broadcast Domain: 한 단말기에서 네트워크 내의 모든 단말기와 통신하고자 할 때 도달할 수 있는.. 2024. 3. 22.
자연어 분석 자연어 분석 단계 자연언어 문장 형태소 분석 구문 분석 - 문장의 구조 이해 의미 분석 - 중의성 확인 화용 분석 어휘 분석 형태소 분석이란? 어휘 분석: 단어의 구조를 식별하고 분석을 통한 어휘의 의미와 품사에 관한 단어 수준의 연구 형태소 분석: 더 이상 분해될 수 없는 최소한의 의미 단위인 형태소를 자연어의 제약 조건과 문법 규칙에 맞춰 분석하는 것 필요성: 한국어는 조사에 따라 의미가 변함 ex. 날다 -> 나는 (Me or Fly?) // 일종의 중의성 고유명사, 사전에 등록되지 않은 단어 처리에 도움이 됨 형태소 분석 절차 단어에서 최소 의미를 포함하는 형태소 후보로 분리 형태소 분석의 처리 대상: 어절(하나 이상의 형태소가 연결된 것) 형태소열 예시) 한국어(Korean)는 = 한국어 + (.. 2024. 3. 20.
네트워크 모델(OSI 7 Layer) 이해 1. OSI 7 Layer OSI 7계층의 이해 다양한 네트워크 간의 호환을 위해 만든 표준 네트워크 모델 논리적인 계층. 데이터를 처리하는 단계. 2계층 데이터 링크 계층: 랜카드의 Mac 주소(물리적 주소)을 사용해 통신 3계층 네트워크 계층: 경로를 결정할 때 IP 주소를 사용 4계층 전송 계층: 포트 번호 7계층 데이터 전송 흐름 송신지에서 보내는 데이터는 각 계층별로 캡슐화되어 수신지에 전달되고, 수신지에서는 각 계층별로 캡슐화를 풀어 해당 데이터를 확인 캡슐화(Encapsulating): PC 내부에서 계층으로 내려올 때마다 각 계층의 Header정보(목적지에 대한 식별자)가 붙게 됨 Packet이 나갈 때는 네트워크 장비에서 header 정보를 확인하여 목적지로 디지털 신호로 전송됨 디캡슐화.. 2024. 3. 15.
자연어처리의 기본 자연어처리란 자연어: 사람들의 사회생활에서 자연스럽게 발생하여 쓰이는 언어 자연어 처리: 자연어를 컴퓨터를 이용하여 이해하고 생성하도록 하는 제반의 언어 NLU(자연어 이해) + NLG(자연어 생성) 자연어처리의 응용 분야 기계번역, 문서요약, 기계독해, 개인비서 서비스, 로봇 저널리즘, 문서분류, 챗봇, 감성분석 자연어처리가 어려운 이유 (1) 언어의 중의성 중의성: 단어, 어절 그리고 구 등 하나의 언어적 단위가 두 가지 이상의 해석이 가능한 것 같은 글자의 조합이 여러 의미를 가지고 있음 -> 처리의 복잡도가 상승 (2) 규칙의 예외 형태론: 언어의 규칙을 연구하는 분야 규칙을 모든 단어에 그대로 적용할 수 없음 -> 처리의 복잡도가 상승 (3) 언어의 유연성과 확장성 구조 문법: 문장의 여러 단어.. 2024. 3. 13.
인간 지능을 흉내 내는 인공지능 인공지능의 정의 인간의 학습능력과 추론능력, 지각능력, 자연언어의 이해능력 등을 컴퓨터 프로그램으로 실현한 기술 인간의 지능이 가지는 학습, 추리, 적응, 논증 따위의 기능을 갖춘 컴퓨터 시스템 지능적으로 행동하는 계산 에이전트를 만들고 분석하는 학문 분야 충돌하는 관점 앨런 튜링의 튜링 테스트 튜링 테스트를 통과한 기계는 생각한다고 간주해도 된다. 철학자 존 설의 중국인의 방 컴퓨터 프로그램은 중국어 질문을 전혀 이해하지 못한 채 튜링 테스트를 통과할 수 있음 튜링 테스트를 통과해도 생각한다고 말하면 안 됨 인공지능의 역사 제1차 AI붐 1950년 : Alan Mathison Turing 학습하는 기계에 대한 논문 발표 Turing machine 고안 2차 세계 대전, 에니그마 해독 1956년 : Jo.. 2024. 3. 13.