미니 프로젝트 2 - 데이터 수집

제주 관광객 입도 현황 데이터 획득

 

https://www.data.go.kr/data/3083546/fileData.do

제주특별자치도_내국인관광객현황_20240213

 

데이터 확인

형태, 목적별 내, 외국인의 제주도 입도 현황 확인 가능,

파일 이름을 통해 년도별 폴더 생성, 분류 - sort_data_folder.py

# 데이터 정렬, 폴더 생성, 년도별 파일 구분

import os
import shutil

# 현재 작업 디렉토리를 기준으로 상대 경로 설정
folder_path = os.path.join(os.getcwd(), 'num_jeju_tourist')

# 폴더 내의 모든 파일 목록을 가져옵니다.
files = os.listdir(folder_path)

for file_name in files:
    # 파일 이름에서 년도를 추출합니다. 예를 들어, '2016년' 부분을 추출합니다.
    if file_name.endswith('.xlsx') or file_name.endswith('.csv') or file_name.endswith('.xls'):  # 엑셀 파일이나 CSV 파일만 처리
        year = file_name[:4]  # 파일 이름의 처음 4글자를 년도로 사용

        # 년도 폴더 경로 생성
        year_folder_path = os.path.join(folder_path, year)
    
        # 폴더가 없으면 생성
        if not os.path.exists(year_folder_path):
            os.makedirs(year_folder_path)
    
        # 파일 이동
        shutil.move(os.path.join(folder_path, file_name), os.path.join(year_folder_path, file_name))

 

각 폴더, 파일에 접근하여 필요한 데이터 추출, DataFrame 생성 - csv 파일 변환

각 분류 별 월 계 데이터 획득,

 

현재 상황 - 프로젝트 폴더

• num_juju_tourist : 데이터 csv 파일
• make_df.py : csv 파일로부터 필요 데이터 추출, DataFrame 생성 - csv 파일로의 변환
• output.csv : 날짜별 제주도 관광객 입도 데이터
• sort_data_folder.py : 폴더, 파일의 생성, 정렬 

 

앞으로 할 일

• output 데이터를 확인한, 관광객 추이, 변화가 어디서 발생하는지 가설을 세우고 확인할 수 있음. ex) 날씨의 영향이 있다면, 날씨 데이터를 통해 이를 확인
  • 공개 데이터 셋 중에서 관광객 추이를 설명할 수 있을 것 같은 데이터 획득, 확인 및 검증 ex) 날씨 데이터
  • 관광객 추이를 잘 설명하지 못 할 경우 또 다른 데이터 셋 탐색 ( 또 뭐가 있을까? )
• 혹은 관광 트랜드의 변화의 확인 - https://www.data.go.kr/tcs/dss/selectDataSetList.do?dType=FILE&keyword=%EC%A0%9C%EC%A3%BC+%EC%B9%B4%EB%93%9C&operator=AND&detailKeyword=&publicDataPk=&recmSe=&detailText=&relatedKeyword=&commaNotInData=&commaAndData=&commaOrData=&must_not=&tabId=&dataSetCoreTf=&coreDataNm=&sort=reqCo&relRadio=&orgFullName=&orgFilter=&org=&orgSearch=&currentPage=1&perPage=5&brm=&instt=&svcType=&kwrdArray=&extsn=&coreDataNmArray=&pblonsipScopeCode=
  • 관광갱 소비패턴 변화를 통한 확인 등등

공공데이터 포털

• csv 파일 저장, 호출 등의 코드 모듈화
• 수집 데이터의 DB 내 관리를 위한 ERD 작성,