ㅋㄷㅋㄷ
728x90

전체 글 237

[databricks SQL] array_agg / explode 그룹별로 array만들거나 row로 풀기

ID ITEM A apple A banana B banana B lemon output example ID ITEM2 A ["apple", "banana"] B ["banana", "lemon"] SELECT ID, array_agg(ITEM) as ITEM2 FROM your_table GROUP BY ID 혹은 다시 원래대로 array를 풀기 SELECT EXPLODE(ITEM2) FROM your_table 만약 array형태가 아닌 문자가 ','로 붙여진 상태를 풀고싶은 경우? example ID ITEM2 A apple,banana output ID ITEM2 A apple A banana select ID, explode(split(trim(BOTH ',' FROM ITEM2), ',')) F..

[python] train/test/validation 데이터셋 폴더에 각각 나누기

이미지 학습을 할 경우 데이터셋이 한 폴더안에 담겨 있는 경우가 많다. 아래와 같이 train/test/valid 데이터셋을 폴더로 각각 나누고 싶을 경우 train_folder/ category1/ img1.jpg img2.jpg category2/ ... ... test_folder/ category1/ img4.jpg img5.jpg .... ... 방법 (1) - split-folder 라이브러리 사용 설치 pip install split-folders conda install split-folders 나누기 import splitfolders # train/val/test 나누기 # 원하는 (train, validation, test 비율을 입력 splitfolders.ratio("from_fo..

[python] selenium 이용한 구글 이미지 크롤링 및 이미지 저장

전체 코드 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By import time import urllib.request import os # 검색쿼리 searchKey = input('검색할 키워드 입력 :') # 폴더 생성 def createFolder(dir): try: if not os.path.exists(dir): os.makedirs(dir) except OSError: print('Error') createFolder(f'train_dataset/{searchKey}') driver = webdriver.Chrome() d..

[python] anaconda ssl error

anaconda에서 새로운 가상환경을 만드려고 했더니 SSL에러가 났을 때 CondaSSLError : Encountered an SSL error. Most likely a certificate verification issue. Exception : HTTPSConnectionPool(host='repo.anaconda.com', port=443) : Max retries ~~ 블라블라 콘타 프롬프트 창에서 다음과 같이 입력 conda config --set ssl_verify false 그리고 다시 가상환경 등 아나콘다에서 재시도해보기!