조대리 Blog

빅데이터를 분석한다거나, 파이썬으로 활용하는 과정에서 엑셀 파일을 데이터프레임 형식으로 가져와야 하는 일이 생긴다. 이때 엑셀 파일의 용량이 크거나, 파일의 수가 많을 경우 데이터를 가져오는데 시간이 꽤 많이 소요된다. 한번만 처리를 해야하면 기다릴 수도 있겠지만... 나의 경우는 일주일 간격으로 크롤링을 해서 데이터를 엑셀 파일로 만들어놓았고, 이용자가 접속할때마다 파일들을 확인하도록 프로그램을 설계해놨고 매번 이 데이터들을 통해 원하는 정보만 뽑아내도록 프로그램을 만들었다. 그렇기에 어떻게든 속도를 빠르게 해야만 했다. (혹여나 더 좋은 방법이 있다면 조언 부탁드립니다ㅎㅎ) 이 과정에서 많은 엑셀 파일을 조회해야 했는데, 시도해본 방법을 포스팅 해보려 한다. 확장자에 따른 처리 속도와 dask를 사용..

IT/Python 2021. 5. 13. 23:47

요즘은 어떤 분야던 본업뿐만 아니라 다재다능한 인재(?)가 되기 위해서는 코딩을 알고 있어야 하는 것 같다. 특히 비전공자인 사람들도 대기업에서 많이 선호하는 파이썬을 시작하기 위한 첫걸음이다. (5페이지 보고 안 보는 책도 구매가 시작이듯, 파이썬의 시작도 설치로 출발한다. 그리고 시작이 반이다.) 설치는 아나콘다(Anaconda)와 Visual Studio Code(VSCode) 두 가지를 설치할 건데 간단하게 무엇인지를 설명하자면, 아나콘다(Anaconda) : Anaconda라는 곳에서 만든 파이썬 배포판으로 우리가 자주 사용하는 패키지를 포함하고 있다. 파이썬 순정을 설치하면 일일이 사용할 패키지를 설치해야 하는 번거로움이 있지만, 아나콘다는 이미 포함이 되어 있기에 편리하게 사용할 수 있다. ..

IT/Python 2021. 5. 13. 20:35

흔히 발생할 수 있는 오류는 아래와 같다. com_error: (-2147221021, '작업을 사용할 수 없습니다.', None, None) 증권사 API는 32bit만 지원하고 있으나, 64bit를 사용하고 있기 때문에 발생하는 오류입니다. 이를 해결하기 위해서는 32비트 가상환경을 만들어주면 된다. 터미널(Terminal)에서 아래 명령어를 하나씩 순서대로 입력하시면 됩니다. # Anaconda 에서 32비트로 셋팅 set CONDA_FORCE_32BIT=1 # 파이썬 가상환경 생성 conda create -n [가상환경 이름] python=[파이썬버전] anaconda >>(예시 : conda create -n py32 python 3.8.5 anaconda) # 생성한 가상환경 활성화 conda..

IT/Python 2021. 5. 13. 20:33

이 오류 때문에 한동안 엄청 고생했던 적이 있었다. 파이썬의 그래프를 그릴 수 있게 해주는 라이브러리인 matplotlib를 설치할 때, 파이썬 64비트 환경에서 32비트 가상환경을 만들때 오류가 발생했었으며, 해외에서도 많은 글들이 있었는데 의외로 간단하게 해결할 수 있다. 일단 오류 메세지는 아래와 같다. ERROR conda.core.link:_execute(698): An error occurred while installing package 'defaults::qt-5.9.7-vc14h73c81de_0'. Rolling back transaction: done LinkError: post-link script failed for package defaults::qt-5.9.7-vc14h73c81..

IT/Python 2021. 5. 3. 23:41