ㅋㄷㅋㄷ

import boto3 import pandas as pd import io client = boto3.client('s3' , aws_access_key_id = '키입력' , aws_secret_access_key = '키입력' ) # client.list_objects(Bucket='버킷명') bucket = '버킷명' obj = client.get_object(Bucket = bucket, Key = '폴더/파일명.csv') df = pd.read_csv(io.BytesIO(obj['Body'].read())

data['Country'].agg([pd.Series.value_counts, lambda x: x.value_counts(normalize=True)]) normalize=True 로 비중을 표시하고 같이 데이터프레임으로 만들어주기

이미지 학습을 할 경우 데이터셋이 한 폴더안에 담겨 있는 경우가 많다. 아래와 같이 train/test/valid 데이터셋을 폴더로 각각 나누고 싶을 경우 train_folder/ category1/ img1.jpg img2.jpg category2/ ... ... test_folder/ category1/ img4.jpg img5.jpg .... ... 방법 (1) - split-folder 라이브러리 사용 설치 pip install split-folders conda install split-folders 나누기 import splitfolders # train/val/test 나누기 # 원하는 (train, validation, test 비율을 입력 splitfolders.ratio("from_fo..

for loop 돌면서 각각 dataframe 이름을 다르게 저장하는 방법 결과물 예시 (1) df_1 df_2 결과물 예시 (2) df_A df_B 등등... import pandas as pd df = pd.DataFrame({'A':[1,2,3], 'B':[4,5,6]}) names = ['A','B','C'] # 혹은 본인이 만들고싶은 이름 [1,2,3]등등 df_dict = {} for n in names: df_dict[f'{n}'] = df print(df_dict['A']) print(df_dict['B']) p[rint(df_dict['C'])

라인 추가하기 plt.axvline(위치) or plt.axhline(위치) v는 세로선, h는 가로선 (예) 히스토그램에 평균 라인을 그리고 싶은 경우? plt.axvline(df['col'].mean()) 이 외에 파라미터들 linestyle : '-' / '--' / '-.' / ':' marker color 텍스트 추가하기 plt.text(x, y, s) x,y : 가로, 세로 위치 s : 표시할 텍스트 plt.text(10, 20, '텍스트') 이 외에 파라미터들 va : 'center' / 'top' / 'bottom' / 'baseline' (y축에서의 위치) ha : 'center' / right' / 'left' (x축에서의 위치)

df.na.drop(subset=["col_name"])

from pyspark.sql import functions as f df.select([f.count(f.when(f.isnull(c),c)).alias(c) for c,t in df.dtypes if t not in ('timestamp','boolean','date')]).show() df.select([f.count(f.when(f.isnull(c),c)).alias(c) for c,t in df.columns]).show()

count count(컬럼명) : null 미포함 count(*) : null 포함 from pyspark.sql.functions import count df.select(count('colname')).show() countDistinct countDistinct(컬럼명) : 고유 레코드 수의 카운트 from pyspark.sql.functions import countDistinct df.select(countDistinct('colname')).show() first / last first(컬럼명) : 첫 번째 값 last(컬럼명) : 마지막 값 from pyspark.sql.functions import first, last df.select(first('colname'), last('colna..

ls = [1,2,3,4] ls_str = list(map(str,ls)) ls_str # ['1','2','3','4']

x축 그래프가 과학적 표기로 1e6으로 되어있는 것을 일반적인 숫자로 변형하기 plt.ticklabel_format(axis='x',useOffset=False, style='plain') 참고 https://kongdols-room.tistory.com/84 축(axes,axis)의 포맷팅(눈금(틱,tick), 축제목(레이블,label)) - matplotlib(9) 파이썬 버전 3.7 기준 matplotlib 버전 3.0.3 기준 축(axes,axis)의 포맷팅(틱(tick), 축제목(레이블,label)) 본 포스팅에서는 플롯에서 축의 틱과, 축 제목을 편집하는 방법에 대해 다룬다. 관련된 함수 kongdols-room.tistory.com