Tech Blog

주가 빅데이터 머신러닝 예측 파이썬 라이브러리를 개발하는 프로젝트에서 주가 빅데이터를 클라우드 데이터베이스에 적재하고, 사용자에게 제공하는 방법을 선택했습니다. 여러 시행착오 끝에 무료 인스턴스를 생성할 수 있는 오라클 클라우드에서 mysql을 설치하고, 적재하기로 하였습니다. 1️⃣ Oracle Cloud 인스턴스 생성 및 실행 먼저, Oracle Cloud의 인스턴스를 생성합니다. 오라클 클라우드 인스턴스 생성 및 SSH 접속하기 글을 참고하여 Oracle Cloud 의 무료 인스턴스를 생성하였습니다. 오라클 클라우드 인스턴스를 성공적으로 생성했고, Putty로 인스턴스를 실행하는 것까지 모두 세팅이 완료된 상태입니다. 이처럼 세팅해놓은 인스턴스를 Load 하여 바로 실행할 수 있습니다. open을 ..

파이썬 라이브러리 개발을 진행하고, 라이브러리 전용 저널인 JOSS에 논문을 제출하기 위해 github action을 사용해서 컴파일 테스트를 수행해보는 과정이 필요했습니다. 본 글에서는 github action으로 md 파일과 bib 파일을 사용해서 joss 논문 컴파일을 진행했던 과정을 정리합니다. 다음의 JOSS 공식 문서의 글을 보며 진행하였습니다. Submitting a paper to JOSS [ 공식 문서 ] Submitting a paper to JOSS — JOSS documentation What we mean by research software JOSS publishes articles about research software. This definition includes soft..

AWS dynamoDB Amazon DynamoDB는 Amazon Web Services (AWS)의 완전 관리형 NoSQL 데이터베이스 서비스로, DynamoDB는 키-값 쌍의 데이터 모델을 사용하여 데이터를 저장하며, 스키마가 없는 데이터베이스입니다. DynamoDB는 초당 수백만 개의 요청을 처리할 수 있는 빠른 성능과 높은 확장성을 제공하며, 애플리케이션의 데이터 관리를 간편하게 해줍니다. DynamoDB는 데이터의 저장과 검색을 위해 테이블을 사용합니다. 테이블은 여러 개의 항목(item)으로 구성되며, 각 항목은 고유한 기본 키(primary key)로 식별됩니다. 기본 키는 단일 속성(primary key) 또는 복합 키(composite key)로 구성될 수 있습니다. 패키지 설치 pip ..

프로젝트를 수행하면서 github에 100MB의 용량이 넘어가는 csv 파일을 올려야 하는 일이 있었는데, 파일이 커서 업로드할 때 거부당했습니다. 그래서 찾아보니 50MB부터 경고, 100MB부터는 오류가 발생한다고 합니다. 100MB이상의 대용량 데이터를 올려야 한다면, Git LFS를 사용해서 업로드할 수 있습니다. Git LFS git-lfs는 Git Large File Storage의 약자로, Git에서 대용량 파일을 관리하기 위한 확장 도구입니다. git-lfs를 사용하면 Git으로 관리하기 어려운 대용량 파일(이미지, 비디오, 바이너리 파일 등)을 추적하고 관리할 수 있습니다. 이를 위해 대용량 파일을 Git 저장소에서 분리하여 별도의 저장소에 저장하고, Git 저장소에는 해당 파일의 포인터..