진진진 개발일지

인터넷 프로토콜(IP)TCP/IP 프로토콜이 사용하는 전송 메커니즘TCP: 신뢰성 있음네트워크 계층(3계층) 프로토콜비신뢰성(Unreliable), 최선의 노력 전달 서비스데이터그램이 목적지에 성공적으로 도달한다는 것을 보장하지 않음비연결성(Connectionless): 전달되는 데이터그램에 대해 상태 정보 유지하지 않음데이터그램 방법을 사용하는 패킷 교환망(인터넷망)을 위해 설계된 비연결형 프로토콜 -> for 라우팅(최적 경로 설정)네트워크에서 전송될 수 있는 최대 크기가 1500bytes(MTU, 최대 전송 단위 - 이더넷의 경우)로 정해져 있으므로 패킷을 쪼개서 보냄(단편화)데이터그램IP 계층의 패킷가변 길이 패킷으로 헤더와 데이터(페이로드) 부분으로 구성헤더는 20~60 바이트라우팅에 필요한 정..

DHCP 스푸핑DHCP: 네트워크 상에 동적으로 IP 정보를 할당하여 사용자에게 편의를 제공하기 위한 프로토콜서버로부터 IP 주소, IP 만료 기한, subnet netmask, gateway, dns 서버를 자동으로 할당받는 서비스UDP로 동작하므로 인증이 불가능UDP 자체가 비신뢰성/비연결지향성 프로토콜이기 때문에 인증된 DHCP인지 판별 불가능DHCP 스푸핑: DHCP 프로토콜이 제공하는 정보를 변조해 타깃 PC를 속이는 공격 방법실제 IP 할당을 하기 전에 공격자가 할당공격자는 타깃 PC를 대상으로 ARP 스푸핑을 통해 스니핑(Sniffing)을 해야 함정상적인 DHCP 동작 과정DHCP 패킷의 동작 순서: DISCOVER - OFFER - REQUEST - ACK..

언어 모델(Language Model, LM) 언어를 이루는 구성 요소(글자, 형태소, 단어, 단어열 혹은 문장, 문단 등)를 문맥으로 하여 이를 바탕으로 다음 구성 요소를 예측하거나 생성하는 모델 예시: 자동완성, 문장생성, 대화시스템, 음성인식, 기계번역, 문서요약 통계적 언어 모델(Statistical Language Model, SLM) 딥러닝 언어 모델(Deep Neural Network Lanuage Model, DNN LM) 통계적 언어 모델 주어진 문서(코퍼스) 내 단어열(혹은 문장)의 등장 확률을 기반으로 각 단어의 조합을 예측하는 전통적인 언어 모델 실제로 많이 사용하는 단어열(문장)의 확률 분포를 정확하게 근사하는 것이 모델의 목표 조건부 확률과 언어 모델 조건부 확률 P(B|A): ..

ARP Spoofing ARP 캐시 테이블(동적인 IP와 MAC)이 공격 대상(정보 변경이 목적) 공격자가 지속적으로 ARP 응답을 보냄으로써 캐시 테이블을 변조 시키는 것 공격자는 MAC 주소를 위장해야 하므로 같은 네트워크에 위치해야 함 Alice가 Bob의 정보를 얻음 192.168.10.7 / BB:BB:BB:BB:BB:BB (정상적인 정보) 동적으로 저장되었다면 시간이 지나면 삭제되는 것을 허용 공격자는 정상적인 ARP Cache를 가지고 있음 step 1. Alice에게 요청 패킷을 받으면 공격자는 가상 reply 패킷 응답을 192.168.10.7 / CC:CC:CC:CC:CC:CC로 전송 동일하게 Bob에게도 192.168.10.5 / CC:CC:CC:CC:CC:CC으로 전송 Bob은 아무..

1. 가명 정보와 데이터 비식별화 국내법에 따른 정보의 분류 개인 정보: 주소, 휴대 전화 번호 등 특정 개인에 관한 정보 사전에 구체적 동의를 받아 제한된 범위에서 활용 가능 가명 정보: 추가 정보가 주어지지 않으면 개인을 알아볼 수 없는 정보 연구, 통계 작성 등에 한해 동의 없이 활용 가능 추가 정보: 암호화 당시 쓰인 키, 가명 처리 시 활용된 매핑 테이블, 가명 처리 알고리즘의 파라미터 등 익명 정보: 추가 정보가 주어져도 개인을 전혀 알아볼 수 없는 정보 활용 목적에 무관하게 자유로이 활용 가능 개인정보보호법의 적용 대상이 아님 데이터를 더 가치 있게, 비식별화 데이터 비식별화(De-Identification, Anonymization) 데이터 내에 개인 식별이 가능한 정보가 존재하는 경우, ..

PC가 DHCP에 IP 주소를 요청하면서 물리 주소를 보냄(RARP 동작, 브로드캐스트) DHCP는 IP주소를 할당하고 MAC 주소와 IP 주소를 매핑하는 정보를 저장(일정 기간 동안에는 동일한 IP 주소를 할당) TCP/IP에 접속하는 모든 컴퓨터가 알아야 하는 정보(DHCP가 제공하는 정보) 구성 파일에 저장되어 부팅 과정에 접근 컴퓨터의 IP 주소 컴퓨터의 해당 서브넷 마스크 라우터의 IP 주소 DNS의 IP 주소 이전 프로토콜 RARP(Reverse Address Resolution Protocol) 물리 주소 -> IP 주소 나의 MAC 주소를 가지고 나의 IP 주소를 알고자 함 *ARP: 목적지의 IP를 알고 있을 때 MAC을 알고자 함 BOOTP(Bootstrap Protocol) DHCP의..

1. 정규화와 회귀에 대한 평가 선형 회귀 식, 데이터에 얼마나 걸맞나 R^2 (R-squared, 결정계수) 종속 변수의 변동 중 몇 퍼센트만큼을 이 회귀 모형이 설명할 수 있는가? 독립 변수를 더 다양하게 투입할 수록 값이 늘어나는 경향을 띔 관계가 없는 속성을 독립변수로 추가할 때에도 R^2 값이 증가 adjusted R^2 (adjusted R-squared, 수정된 결정계수) N: validation set의 데이터 개수, p: 독립 변수의 개수 독립 변수의 개수가 많아져도, 무작정 R^2이 증가하지 않음 성능 지표 계산을 위한 라이브러리 # 성능 지표 계산을 위해 필요한 라이브러리 불러오기 from sklearn.metrics import r2_score # 결정계수 from sklearn.m..

ARP: IP 주소를 알고 있을 때 네트워크 상에서 MAC 주소를 얻어온다 -> 2-3 계층 중간에서 동작 1. ARP 캐시 테이블 참고 2-1. 있으면 유니캐스트 통신 2-2. 없으면 ARP Request 패킷 - 브로드캐스트로 전송 Reply 패킷 - 유니캐스트로 통신 주소 변환 인터넷의 주소 논리 주소(logical address) 호스트나 라우터가 사용하는 네트워크 레벨 주소 전세계적으로 유일한 주소 IP 주소 32비트 길이 물리 주소(physical address) 로컬 네트워크에서 유효한 주소 로컬 주소, 로컬에서 유일하면 됨 보통 하드웨어로 구현 호스트나 라우터 내에 설치된 NIC에 들어 있음 MAC 주소 호스트나 라우터로 패킷을 전달하기 위해 논리 및 물리 주소가 모두 필요 논리 주소 물리..

양 끝의 양단은 항상 이더넷 Internet 라우터에서 사용하는 프로토콜: NAT, RIP, OSPF End-User 밑의 프로토콜은 Server Farm에서도 사용됨 통신 과정 예시 End-User: PC(A와 B의 통신), 스위치, DNS 서버 같은 네트워크의 IP 10.10.10.1 ~ 10.10.10.255 PC A의 IP 10.10.10.100 PC B의 IP 10.10.10.101 DNS 서버의 IP 10.10.10.200 인터넷과 연결된 게이트웨이 10.10.10.1 가장 처음에 ARP 프로토콜이 동작 IEEE 표준 이더넷 근거리 통신망(LAN; Local Area Network) LAN들은 대부분 광역통신망(WAN)이나 인터넷에 연결 CSMA/CD: 유선 환경에서 충돌을 탐지하는 매커니즘 ..

자연어처리 모델의 학습 방법 트랜스퍼 러닝(Transfer Learning): 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법 특징 기존보다 모델의 학습 속도가 빨라짐 새로운 태스크를 더 잘 수행 업스트림(Upstream) 태스크 모델이 대규모의 코퍼스를 가지고 문맥을 고려하면서 태스크 수행 대표적인 업스트림 태스크 다음 단어 맞히기 빈칸 채우기(BERT-Masked Language Model) GPT 계열 모델 다운스트림(Downstream) 태스크 자연어처리의 구체적인 태스크 성능을 올리기 위해 (업스트림 태스크로 Pre-training) 다운스트림 태스크의 본질은 Classification 자연어를 입력받아 해당 입력이 어떤 범주에 해당하는지 확률 형태로 반환 문서분류, 자연어추론,..