본문 바로가기

■ 칼퇴를 위한 파이썬 : 사례143

파이썬으로 머신러닝하기: 계층적 군집화 기법 소개 파이썬으로 머신러닝하기: 계층적 군집화 기법 소개 1. 소개 계층적 군집화는 머신러닝의 중요한 기법 중 하나로, 데이터를 유사한 특성을 갖는 그룹으로 분류하는 방법이다. 이번 블로그 포스팅에서는 파이썬을 사용하여 계층적 군집화를 적용하는 방법에 대해 알아보겠다. 2. 계층적 군집화란? 계층적 군집화는 데이터를 분류할 때, 계층 구조를 이용하여 데이터 간의 유사도를 계산하고 클러스터를 형성하는 방법이다. 계층적 군집화는 병합 군집화와 분할 군집화로 나뉜다. 2.1. 병합 군집화 병합 군집화는 각 데이터 포인트를 개별적인 클러스터로 시작하여, 가장 유사한 클러스터를 병합해가며 계층적인 구조를 형성하는 방법이다. 먼저 전체 데이터는 개별적인 클러스터로 시작하며, 가장 유사한 클러스터를 병합하는 과정을 반복하여.. 2023. 7. 18.
파이썬으로 데이터 전처리하기: 이상치 탐지 파이썬으로 데이터 전처리하기: 이상치 탐지 소개 데이터 전처리는 데이터 분석 및 머신러닝 모델링에서 매우 중요한 과정입니다. 데이터의 품질이나 정확성이 낮으면 분석 결과도 신뢰성이 떨어지게 됩니다. 이상치는 데이터셋 내에 다른 데이터와 다른 패턴을 가지고 있는 값을 의미합니다. 이상치는 분석 결과를 왜곡시킬 수 있기 때문에 처음부터 이상치 처리를 잘 해주는 것이 중요합니다. 이번 포스팅에서는 파이썬을 사용하여 데이터셋 내의 이상치를 탐지하는 방법에 대해 알아보겠습니다. 이상치 탐지 방법 파이썬을 사용하여 데이터셋 내의 이상치를 탐지하는 방법은 다양합니다. 가장 일반적인 방법으로는 통계적인 방법과 기계학습 기반 방법이 있습니다. 통계적 방법 통계적 방법은 데이터셋의 분포를 이용하여 이상치를 탐지합니다. 일.. 2023. 7. 18.
파이썬으로 웹 애플리케이션 개발하기: 보안 테스트 파이썬으로 웹 애플리케이션 개발하기: 보안 테스트 안녕하세요! 오늘은 파이썬으로 웹 애플리케이션을 개발할 때 주의해야 할 보안 테스트에 대해 알아보겠습니다. 웹 애플리케이션은 많은 사용자들이 접근하고 민감한 정보를 다루기 때문에 보안은 굉장히 중요합니다. 그래서 개발자는 애플리케이션의 취약점을 사전에 검출하고 보안에 취약한 부분을 개선하는 과정을 필수로 거쳐야 합니다. 1. 취약점 분석 보안 테스트를 진행하기 전에 우리는 먼저 애플리케이션의 취약점을 파악해야 합니다. 이를 위해 다양한 도구와 기법을 활용할 수 있습니다. 정적 분석 도구: 소스 코드를 검사하여 취약점을 찾는 방법입니다. 파이썬에서는 Bandit이라는 정적 분석 도구를 사용할 수 있습니다. 동적 분석 도구: 실제 실행환경에서 애플리케이션의 .. 2023. 7. 18.
파이썬으로 데이터 시각화하기: 대화형 그래프 파이썬으로 데이터 시각화하기: 대화형 그래프 소개 데이터 시각화는 데이터 분석 작업에서 매우 중요한 역할을 합니다. 데이터를 시각적으로 표현하면 복잡한 패턴이나 트렌드를 파악하기 쉬워지며, 의사 결정에도 큰 도움이 됩니다. 파이썬은 데이터 시각화를 위한 다양한 라이브러리를 제공하며, 그 중에서도 대화형 그래프를 그리기 위해 Plotly를 사용해보겠습니다. Plotly란? Plotly는 오픈 소스 데이터 시각화 도구로, 데이터를 고도로 상호작용적인 방식으로 표현할 수 있습니다. Plotly의 주요 특징은 다음과 같습니다. 인터랙티브 그래프 : 마우스로 그래프를 확대/축소하고, 툴팁을 통해 자세한 정보를 확인할 수 있습니다. 다양한 그래프 유형 : Plotly는 막대 그래프, 선 그래프, 산점도, 히스토그램.. 2023. 7. 18.
파이썬으로 웹 스크래핑하기: 쿠키와 세션 처리 파이썬으로 웹 스크래핑하기: 쿠키와 세션 처리 1. 웹 스크래핑이란? 웹 스크래핑이란 웹 사이트에서 정보를 추출하고 필요한 데이터를 수집하는 프로세스를 의미합니다. 파이썬은 웹 스크래핑을 위한 강력한 도구로 알려져 있으며, 다양한 라이브러리를 제공합니다. 이 중에서 쿠키와 세션 처리는 웹 스크래핑에서 중요한 요소입니다. 2. 쿠키 쿠키는 웹 서버가 클라이언트의 웹 브라우저에 저장하는 작은 파일입니다. 쿠키를 사용하면 웹 서버는 클라이언트를 식별하고 클라이언트의 상태를 추적할 수 있습니다. 쿠키는 클라이언트에게 유일한 식별자를 부여하여 인증이나 세션 관리에 사용됩니다. 3. 쿠키의 작동 방식 웹 서버는 클라이언트에게 쿠키를 설정하고, 이후 클라이언트가 동일한 웹 서버에 요청을 보낼 때마다 쿠키를 포함하여 .. 2023. 7. 18.
파이썬으로 딥러닝하기: 변분 오토인코더(VAE) 기초 파이썬으로 딥러닝하기: 변분 오토인코더(VAE) 기초 1. 변분 오토인코더(Variational Autoencoder, VAE)란 변분 오토인코더(VAE)는 딥러닝 모델 중 하나로, 생성 모델(Generative Model) 중에서도 가장 인기 있는 모델 중 하나이다. VAE는 데이터의 특징을 학습하고, 이를 토대로 새로운 데이터를 생성하는 능력을 가지고 있다. 2. 오토인코더(Autoencoder)란 VAE를 이해하기 위해서는 먼저 오토인코더(Autoencoder)의 개념을 알 필요가 있다. 오토인코더는 입력 데이터로부터 출력 데이터를 재구성하는 데에 사용되는 인공신경망(Neural Network) 모델이다. 2.1 오토인코더의 구조 인코더(Encoder): 입력 데이터를 저차원의 표현으로 압축하는 역.. 2023. 7. 17.

티스토리툴바