Tech Blog

보호되어 있는 글입니다.

프로젝트에서 지역별 인구수를 나타내는 지도 시각화를 구현해야 하는 일이 있었는데, folium은 너무 인터랙티브하고 실제적인 지도의 느낌이라서, 보다 평면적이고, 직관적인 지도를 그릴 수 있는 라이브러리를 찾아보았다. 그렇게 해서 선택한 라이브러리는 geopadas였고, 전달하고자 하는 정보를 더 효과적으로 시각화 할 수 있었다. 앞으로도 지도 시각화를 할 때 종종 유용하게 쓰일 것 같은데 , 구글링 하다가 정보가 너무 없어서 시각화 했던 과정을 기록해두려고 한다. 라이브러리 설치 !pip install geopandas !pip install fiona 라이브러리 import import geopandas as gpd from fiona.crs import from_epsg 먼저, 사용할 라이브러리를 ..

0. 프로젝트 개요 ▪️ 수행 기간: 2022.09.01 ~ 2023.04.08 ▪️ 프로젝트 목적: 유의미한 연구 과정 함수화, 주가 빅데이터 연구에 편의성 제공 ▪️ 프로젝트 내용: 주가 빅데이터에 최적화된 머신러닝 통합 라이브러리 "stockait" 개발 ▪️ 사용 언어 및 개발 환경: Python, Jupyter Lab, Linux server 1. stockait 소개 stockait: python machine learning framework for stock prediction ◾Github: https://github.com/stockAI-py/stockAI ◾pypi: https://pypi.org/project/stockait/ ◾JOSS paper: (예정) stockait ? ▪️..

주가 빅데이터 머신러닝 예측 파이썬 라이브러리를 개발하는 프로젝트에서 주가 빅데이터를 클라우드 데이터베이스에 적재하고, 사용자에게 제공하는 방법을 선택했습니다. 여러 시행착오 끝에 무료 인스턴스를 생성할 수 있는 오라클 클라우드에서 mysql을 설치하고, 적재하기로 하였습니다. 1️⃣ Oracle Cloud 인스턴스 생성 및 실행 먼저, Oracle Cloud의 인스턴스를 생성합니다. 오라클 클라우드 인스턴스 생성 및 SSH 접속하기 글을 참고하여 Oracle Cloud 의 무료 인스턴스를 생성하였습니다. 오라클 클라우드 인스턴스를 성공적으로 생성했고, Putty로 인스턴스를 실행하는 것까지 모두 세팅이 완료된 상태입니다. 이처럼 세팅해놓은 인스턴스를 Load 하여 바로 실행할 수 있습니다. open을 ..

파이썬 라이브러리 개발을 진행하고, 라이브러리 전용 저널인 JOSS에 논문을 제출하기 위해 github action을 사용해서 컴파일 테스트를 수행해보는 과정이 필요했습니다. 본 글에서는 github action으로 md 파일과 bib 파일을 사용해서 joss 논문 컴파일을 진행했던 과정을 정리합니다. 다음의 JOSS 공식 문서의 글을 보며 진행하였습니다. Submitting a paper to JOSS [ 공식 문서 ] Submitting a paper to JOSS — JOSS documentation What we mean by research software JOSS publishes articles about research software. This definition includes soft..

AWS dynamoDB Amazon DynamoDB는 Amazon Web Services (AWS)의 완전 관리형 NoSQL 데이터베이스 서비스로, DynamoDB는 키-값 쌍의 데이터 모델을 사용하여 데이터를 저장하며, 스키마가 없는 데이터베이스입니다. DynamoDB는 초당 수백만 개의 요청을 처리할 수 있는 빠른 성능과 높은 확장성을 제공하며, 애플리케이션의 데이터 관리를 간편하게 해줍니다. DynamoDB는 데이터의 저장과 검색을 위해 테이블을 사용합니다. 테이블은 여러 개의 항목(item)으로 구성되며, 각 항목은 고유한 기본 키(primary key)로 식별됩니다. 기본 키는 단일 속성(primary key) 또는 복합 키(composite key)로 구성될 수 있습니다. 패키지 설치 pip ..

프로젝트를 수행하면서 github에 100MB의 용량이 넘어가는 csv 파일을 올려야 하는 일이 있었는데, 파일이 커서 업로드할 때 거부당했습니다. 그래서 찾아보니 50MB부터 경고, 100MB부터는 오류가 발생한다고 합니다. 100MB이상의 대용량 데이터를 올려야 한다면, Git LFS를 사용해서 업로드할 수 있습니다. Git LFS git-lfs는 Git Large File Storage의 약자로, Git에서 대용량 파일을 관리하기 위한 확장 도구입니다. git-lfs를 사용하면 Git으로 관리하기 어려운 대용량 파일(이미지, 비디오, 바이너리 파일 등)을 추적하고 관리할 수 있습니다. 이를 위해 대용량 파일을 Git 저장소에서 분리하여 별도의 저장소에 저장하고, Git 저장소에는 해당 파일의 포인터..

보호되어 있는 글입니다.

Chapter 5 금융 데이터 수집하기 (기본) 이 블로그의 방법을 참고하여 진행하였습니다. 1. KRX 데이터 크롤링 1.1 필요 데이터셋 주가 빅데이터 관련 라이브러리 개발을 진행하면서 종목 별 주가 데이터가 필요했습니다. 주가 데이터를 불러올 수 있는 여러 라이브러리들이 있지만, 안정성 문제가 있어, 직접 크롤링하고 전처리하여 적재한 후 제공하기 위해 크롤링을 시도하게되었습니다. 종목 별 날짜 별로 시가, 저가, 고가, 종가, 거래량 데이터가 필요하여 krx 정보데이터시스템에서 적절한 데이터를 찾아 진행하였습니다. (데이터 링크: [KRX 정보데이터 시스템] 주식 - 종목시세 - 개별종목 시세 추이 ) 1.2 크롤링 과정 여기서 사용한 방법은 데이터 다운로드 방법을 코드로 자동화 한 것이라고 할 수..

예전부터 꾸준히 발전해오던 인공지능이었지만, 최근 들어 chat gpt3부터 그 이상의 버전들이 등장하면서 인공지능의 영향력을 다시 한 번 체감하고있습니다. 본 포스팅에서는 앞으로도 더욱 발전해나갈 인공지능이라는 것이 무엇인지, 그 안에서 쓰이는 기술인 머신러닝이 무엇이고 어떻게 동작하는지 정리하려고 합니다. 또, 지도학습과 비지도학습에 따라 어떤 알고리즘의 종류가 있는지 알아보겠습니다. 1. 인공지능과 머신러닝 데이터 과학을 공부한다면, 위의 벤다이어그램을 한 번씩은 본 적이 있을 겁니다. 인공지능 안에 머신러닝이 포함되고, 머신러닝 안에 딥러닝이 포함됩니다. (cf. 본 글에서는 머신러닝까지 다루고, 딥러닝에 대해서는 따로 작성합니다.) 그렇다면, 본 글의 목적인 머신러닝이 무엇인지에 대해 이해하려면..