목록크롤링 (5)
삶의 공유
안녕하세요 ~ 오늘은 파이썬을 이용하여 웹에서 금융 데이터를 다운 받고 데이터를 시각화 하여 어떻게 데이터가 형성 되어 있는지 확인 하는 코드를 작성하는 포스팅을 해보려고 합니다. 웹에서 금융 데이터 불러오기 먼저 야후 파이낸스 라이브러리를 이용하여 금융 데이터를 다운 받을 건데요 ! pip install yfinance 다음과 같은 코드를 이용하여 야후 파이낸스 라이브러리를 다운받아 주겠습니다. 이제 본격적으로 시작해보겠습니다. 판다스와, 야후 파이낸스 모듈을 불러오겠습니다. import pandas as pd import yfinance as yf start = 데이터 시작 시점 end = 데이터 종료 시점 symber = ticker 정보 start = "2014-10-01" end = "2021-..
안녕하세요 ~ 오늘의 포스팅은 공공데이터 포털의 API를 이용하여 수출입 데이터 를 가져와 보려고 합니다. 1. 공공데이터 포털 가입 및 API 신청 먼저 아래의 사이트에 들어가셔서 회원 가입을 합니다. https://www.data.go.kr/index.do 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 메인 페이지 에서 "수출입" 을 검색 합니다. 그러면 아래와 같은 API가 검색이 될거에요 그럼 여기서 활용신청을 누르고 ※중요 : 아래 내용은 수출입 총괄이지만(제가 미리 신청을해놔서..), 실제 데이터를 가져올..
안녕하세요 ~ 이번시간에는 가치평가를 하기 위한 필요한 지표들인 재무제표를 크롤링 하는 포스팅 입니다. 네이버 금융에서 크롤링을 진행 할 예정입니다. 먼저 네이버 금융의 웹페이지가 어떻게 되어 있는지 하나씩 살펴보겠습니다. 삼성전자를 예시로 들어보겠습니다. 아래와 같이 삼성전자를 검색해서 > 종합 정보를 클릭합니다. 아래로 쭉 내리시면 기업 실적 요약 정보를 크롤링해서 가져올 것 입니다. 코드를 짜기 위해 url 정보를 복사합니다. https://finance.naver.com/item/main.naver?code=005930 위의 url을 모든 종목에 대해서 가져오기 위해 code와 url로 분리합니다. code = '005930' URL = f"https://finance.naver.com/item/..
※ 이 포스팅은 https://hyunyulhenry.github.io/quant_python/05_crawl_practice.html 를 참고 하여 만든 내용입니다. 한국 거래소의 업종 분류 현황 및 개별지표 크롤링 파이썬을 이용하여 업종 분류 현황을 크롤링 해보자. 1. 업종 정보를 받아오기 위해 한국 거래소 사이트에 접속하여 기본 통계 → 주식 → 세부 안내 → 업종분류 현황 클릭한다. 2. 그럼 하기 이미지와 같은 화면이 나온다. 이 화면에서 보기 > 개발자 정보 > 개발자 도구를 들어간다 (마우스 우클릭 후 "검사"항목 클릭해도 된다.) 3. 개발자 도구가 이렇게 뜨면 하기 빨간색 박스로 되어 있는 Network 탭을 클릭 후, 왼쪽에 파란색 다운로드 버튼을 클릭한다. 그럼 다운로드를 Excel..
크롬으로 실행 후 investing.com에서 미국 소비자 물가지수 들어감 (url : https://kr.investing.com/economic-calendar/cpi-733) 1) 빨간색 화살표 영역 선택 하면 좌측 표 전체 선택이 됨 2) 빨간 화살표 영역 선택 후 마우스 우클릭 -> copy -> copy xPath 클릭 3) selenium module의 webdriver를 이용하여 find_element_by_xpath 이용 import pandas as pd from selenium import webdriver # chrome 실행 driver = webdriver.Chrome(r'/Users/swk/Downloads/chromedriver') # 해당 링크로 접속 driver.get('..