조대리 Blog

빅데이터를 분석한다거나, 파이썬으로 활용하는 과정에서 엑셀 파일을 데이터프레임 형식으로 가져와야 하는 일이 생긴다. 이때 엑셀 파일의 용량이 크거나, 파일의 수가 많을 경우 데이터를 가져오는데 시간이 꽤 많이 소요된다. 한번만 처리를 해야하면 기다릴 수도 있겠지만... 나의 경우는 일주일 간격으로 크롤링을 해서 데이터를 엑셀 파일로 만들어놓았고, 이용자가 접속할때마다 파일들을 확인하도록 프로그램을 설계해놨고 매번 이 데이터들을 통해 원하는 정보만 뽑아내도록 프로그램을 만들었다. 그렇기에 어떻게든 속도를 빠르게 해야만 했다. (혹여나 더 좋은 방법이 있다면 조언 부탁드립니다ㅎㅎ) 이 과정에서 많은 엑셀 파일을 조회해야 했는데, 시도해본 방법을 포스팅 해보려 한다. 확장자에 따른 처리 속도와 dask를 사용..

IT/Python 2021. 5. 13. 23:47

요즘은 어떤 분야던 본업뿐만 아니라 다재다능한 인재(?)가 되기 위해서는 코딩을 알고 있어야 하는 것 같다. 특히 비전공자인 사람들도 대기업에서 많이 선호하는 파이썬을 시작하기 위한 첫걸음이다. (5페이지 보고 안 보는 책도 구매가 시작이듯, 파이썬의 시작도 설치로 출발한다. 그리고 시작이 반이다.) 설치는 아나콘다(Anaconda)와 Visual Studio Code(VSCode) 두 가지를 설치할 건데 간단하게 무엇인지를 설명하자면, 아나콘다(Anaconda) : Anaconda라는 곳에서 만든 파이썬 배포판으로 우리가 자주 사용하는 패키지를 포함하고 있다. 파이썬 순정을 설치하면 일일이 사용할 패키지를 설치해야 하는 번거로움이 있지만, 아나콘다는 이미 포함이 되어 있기에 편리하게 사용할 수 있다. ..

IT/Python 2021. 5. 13. 20:35

업무나 일상생활에서 사진 파일이나 워드 문서 등을 PDF로 변환해야 하는 경우가 생깁니다. 저는 주로 서류 제출할때 필요하게 되는데요. 이때 간단하게 변환 해주는 사이트가 있습니다. 사이트에 들어가면 여러 방식의 PDF변환을 선택할 수 있는데요. 원하는 방식을 선택하고 파일을 업로드하면 끝입니다. 그리고 드레그&드롭(drag-and-drop)만으로도 쉽게 파일을 올릴 수 있습니다. 완성이 되면 Completed, Work is done. Please download it. 메세지가 나오고, Download File Now 버튼을 클릭하셔서 다운로드 받으시면 됩니다. 사진 파일이 PDF 파일로 잘 변환된 것을 확인 할 수 있습니다. 제가 좋아하는 명언입니다ㅎㅎ 어떤 분이 말했는지는 모르겠네요 :) 처음부터..

IT/Util 2021. 5. 13. 20:35

Visual Studio Code(VSCode) 첫 시작을 하기 위해 패키지를 설치하기 위해 터미널을 띄우니 오류가 나온다. (conda : 'conda' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니다. 이름이 정확한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시 시도하십시오.) 방법을 알고 있어서 다행이지... 혹여나 입문하는 분들은 다시 파이썬을 쓸 수도 있었겠다. 해결 방법은 간단하다, 터미털 탭 쪽에 '1. powershell'을 클릭한 뒤 'Select Default Shell' 그럼 VSCODE의 자랑, 명령 팔레트가 나온다. (윈도우 기준 : 단축키 Ctrl+Shift+P) Command Prompt, cmd.exe를 선..

IT/Python 2021. 5. 13. 20:34

흔히 발생할 수 있는 오류는 아래와 같다. com_error: (-2147221021, '작업을 사용할 수 없습니다.', None, None) 증권사 API는 32bit만 지원하고 있으나, 64bit를 사용하고 있기 때문에 발생하는 오류입니다. 이를 해결하기 위해서는 32비트 가상환경을 만들어주면 된다. 터미널(Terminal)에서 아래 명령어를 하나씩 순서대로 입력하시면 됩니다. # Anaconda 에서 32비트로 셋팅 set CONDA_FORCE_32BIT=1 # 파이썬 가상환경 생성 conda create -n [가상환경 이름] python=[파이썬버전] anaconda >>(예시 : conda create -n py32 python 3.8.5 anaconda) # 생성한 가상환경 활성화 conda..

IT/Python 2021. 5. 13. 20:33

이 오류 때문에 한동안 엄청 고생했던 적이 있었다. 파이썬의 그래프를 그릴 수 있게 해주는 라이브러리인 matplotlib를 설치할 때, 파이썬 64비트 환경에서 32비트 가상환경을 만들때 오류가 발생했었으며, 해외에서도 많은 글들이 있었는데 의외로 간단하게 해결할 수 있다. 일단 오류 메세지는 아래와 같다. ERROR conda.core.link:_execute(698): An error occurred while installing package 'defaults::qt-5.9.7-vc14h73c81de_0'. Rolling back transaction: done LinkError: post-link script failed for package defaults::qt-5.9.7-vc14h73c81..

IT/Python 2021. 5. 3. 23:41

언젠가부터 파이썬(Python) pip 업그레이드를 했을때마다 이상하게 오류가 발생하고 있었는데, 해결 방법이 쉬워서 다행이다. pip를 최신버전으로 업그레이드 한다는 명령어 pip install --upgrade pip 오류 발생시 해결하는 방법 easy_install pip (py32) D:\mysite>pip install --upgrade pip Script file 'E:\Anaconda3\envs\py32\Scripts\pip-script.py' is not present. (py32) D:\mysite>easy_install pip WARNING: The easy_install command is deprecated and will be removed in a future version. S..

IT/Python 2021. 5. 1. 02:24

이전에 원격제어 프로그램으로 유명한 팀뷰어(TeamViewer) 프로그램을 사용하다가 윈도우 서버 2012(Windows Server 2012) 을 설치한 PC에 사용하여 상업적 이용으로 보여진다는 이유로 계정 정지를 당하고... 다른 원격제어 프로그램을 찾아보다가 이전부터 사용중인 크롬 원격 데스크톱 앱을 소개합니다. Chrome 원격 데스크톱을 사용하기 위해서는 크롬 브라우저를 설치해야만 사용할 수 있습니다. 크롬 브라우저 다운로드 : https://www.google.com/intl/ko/chrome/browser/features.html Chrome 브라우저를 설치하셨다면 chrome://apps/ 에서 앱스토어 혹은 https://chrome.google.com/webstore/category/..

IT/Util 2018. 3. 21. 21:49