삶의 공유

텍스트 마이닝 과정 중 하나인 데이터 수집 사이트에 대한 정보에 대해서 공유해보고자 이 포스팅을 작성해본다. [미국] 1. Kaggle : 데이터 과학 competition으로 유명한 kaggle의 데이터 저장소 https://www.kaggle.com/datasets Find Open Datasets and Machine Learning Projects | Kaggle Download Open Datasets on 1000s of Projects + Share Projects on One Platform. Explore Popular Topics Like Government, Sports, Medicine, Fintech, Food, More. Flexible Data Ingestion. www.kag..

Numpy Basic C언어로 만들어진 Python Library중 하나로 배열을 사용할 때 유용하게 쓰일 수 있다. 사용하는 방법은 다음과 같다. 먼저 라이브러리를 호출 하고 별명을 지어서 보다 편리하게 함수를 불러 올수 있다. import numpy as np 자 그럼 이것을 통해 Numpy에 대해서 하나씩 공부해보자 1) 1차원 배열 정의하기 import numpy as np mylist = [10,20,50,60,70] x = np.array(mylist) x 2) 2차원 배열 정의 하기 solution = np.array([[4,6,8,7],[20,5,6,9]]) solution Numpy built in Methods & Function 1) 0~1의 난수 만들기 x = np.random.ra..

주가데이터와 섹터 데이터연계하여 섹터별 등락률 구하기 및 코스피와 비교 1) MySQL에서 섹터 정보 불러오기(sector_info) - 앞서 저장한 MySQL DB에서 섹터 정보를 불러와보자, 전체 코드는 이렇다. import pymysql import pandas as pd # MySQL에서 Investar DB에 접속 conn = pymysql.connect(host='localhost', user='root', passwd='여러분비번', db='여러분DB', charset='utf8') sql = 'SELECT * FROM sector_info' sector_table = pd.read_sql(sql, conn) # sector_info Table을 read_sql()함수로 읽는다. sector..

종목코드별 주가 데이터 크롤링하여 저장하기 ※ 섹터 data MySQL Database에 저장하는 관련 포스팅은 하기 참고 바랍니다. https://wg-cy.tistory.com/95?category=1023254 [금융] 파이썬이용하여 코스피 대장주 찾기 Project-2(섹터 DB저장) 업종 & 섹터 산출 1. 업종 분류 현황 크롤링 (코스피 상장사) ※ 업종 분류 현황 크롤링하는 자세한 방법에 대해서는 하기 포스팅 참고 하면 좋을것 같다 https://wg-cy.tistory.com/54?category=1023254.. wg-cy.tistory.com 1) Database에서 종목 코드 정보 가져오기 import pymysql import pandas as pd # MySQL에서 Investar..

업종 & 섹터 산출 1. 업종 분류 현황 크롤링 (코스피 상장사) ※ 업종 분류 현황 크롤링하는 자세한 방법에 대해서는 하기 포스팅 참고 하면 좋을것 같다 https://wg-cy.tistory.com/54?category=1023254 [데이터수집] 한국 거래소 업종 분류 현황 및 개별 지표 크롤링 하기 ※ 이 포스팅은 https://hyunyulhenry.github.io/quant_python/05_crawl_practice.html 를 참고 하여 만든 내용입니다. 한국 거래소의 업종 분류 현황 및 개별지표 크롤링 파이썬을 이용하여 업종 분류 현황을.. wg-cy.tistory.com 코드를 바로 보면 하기 처럼 하면 된다. import requests as rq from io import Byte..

파이썬이용하여 코스피 대장주 찾기 Project 궁극적으로는 내 뉴스 요약 블로그에 업로드 하기 위한 프로젝트로 시작해보려고 한다. 요약하자면 섹터별 대장주들의 일간 변동률과 코스피 변동률을 비교하여 코스피 변동률 대비 높은 섹터들을 발굴하여 순환 투자에 참고하기 위해 작성하고자 한다. 김작가 tv에 나오셨던 김종봉 투자자편에 나왔던 대장주 찾기에서 아이디어를 얻었고, 이를 자동화 해보고자 한다. https://youtu.be/OcBFuwukmzQ 해당 프로젝트에 첫번째 과제로, 코스피의 등락률을 구해보는 편이다. pandas_datareader 라이브러리를 이용하여 코스피 데이터를 수집한다. 또한 datetime 라이브러리를이용하여 오늘날짜를 지정하지 않고 자동으로 오늘날짜로 지정될수 있게 선정하였고 ..