조대리 Blog

빅데이터를 분석한다거나, 파이썬으로 활용하는 과정에서 엑셀 파일을 데이터프레임 형식으로 가져와야 하는 일이 생긴다. 이때 엑셀 파일의 용량이 크거나, 파일의 수가 많을 경우 데이터를 가져오는데 시간이 꽤 많이 소요된다. 한번만 처리를 해야하면 기다릴 수도 있겠지만... 나의 경우는 일주일 간격으로 크롤링을 해서 데이터를 엑셀 파일로 만들어놓았고, 이용자가 접속할때마다 파일들을 확인하도록 프로그램을 설계해놨고 매번 이 데이터들을 통해 원하는 정보만 뽑아내도록 프로그램을 만들었다. 그렇기에 어떻게든 속도를 빠르게 해야만 했다. (혹여나 더 좋은 방법이 있다면 조언 부탁드립니다ㅎㅎ) 이 과정에서 많은 엑셀 파일을 조회해야 했는데, 시도해본 방법을 포스팅 해보려 한다. 확장자에 따른 처리 속도와 dask를 사용..

IT/Python 2021. 5. 13. 23:47

요즘은 어떤 분야던 본업뿐만 아니라 다재다능한 인재(?)가 되기 위해서는 코딩을 알고 있어야 하는 것 같다. 특히 비전공자인 사람들도 대기업에서 많이 선호하는 파이썬을 시작하기 위한 첫걸음이다. (5페이지 보고 안 보는 책도 구매가 시작이듯, 파이썬의 시작도 설치로 출발한다. 그리고 시작이 반이다.) 설치는 아나콘다(Anaconda)와 Visual Studio Code(VSCode) 두 가지를 설치할 건데 간단하게 무엇인지를 설명하자면, 아나콘다(Anaconda) : Anaconda라는 곳에서 만든 파이썬 배포판으로 우리가 자주 사용하는 패키지를 포함하고 있다. 파이썬 순정을 설치하면 일일이 사용할 패키지를 설치해야 하는 번거로움이 있지만, 아나콘다는 이미 포함이 되어 있기에 편리하게 사용할 수 있다. ..

IT/Python 2021. 5. 13. 20:35

업무나 일상생활에서 사진 파일이나 워드 문서 등을 PDF로 변환해야 하는 경우가 생깁니다. 저는 주로 서류 제출할때 필요하게 되는데요. 이때 간단하게 변환 해주는 사이트가 있습니다. 사이트에 들어가면 여러 방식의 PDF변환을 선택할 수 있는데요. 원하는 방식을 선택하고 파일을 업로드하면 끝입니다. 그리고 드레그&드롭(drag-and-drop)만으로도 쉽게 파일을 올릴 수 있습니다. 완성이 되면 Completed, Work is done. Please download it. 메세지가 나오고, Download File Now 버튼을 클릭하셔서 다운로드 받으시면 됩니다. 사진 파일이 PDF 파일로 잘 변환된 것을 확인 할 수 있습니다. 제가 좋아하는 명언입니다ㅎㅎ 어떤 분이 말했는지는 모르겠네요 :) 처음부터..

IT/Util 2021. 5. 13. 20:35

흔히 발생할 수 있는 오류는 아래와 같다. com_error: (-2147221021, '작업을 사용할 수 없습니다.', None, None) 증권사 API는 32bit만 지원하고 있으나, 64bit를 사용하고 있기 때문에 발생하는 오류입니다. 이를 해결하기 위해서는 32비트 가상환경을 만들어주면 된다. 터미널(Terminal)에서 아래 명령어를 하나씩 순서대로 입력하시면 됩니다. # Anaconda 에서 32비트로 셋팅 set CONDA_FORCE_32BIT=1 # 파이썬 가상환경 생성 conda create -n [가상환경 이름] python=[파이썬버전] anaconda >>(예시 : conda create -n py32 python 3.8.5 anaconda) # 생성한 가상환경 활성화 conda..

IT/Python 2021. 5. 13. 20:33

이 오류 때문에 한동안 엄청 고생했던 적이 있었다. 파이썬의 그래프를 그릴 수 있게 해주는 라이브러리인 matplotlib를 설치할 때, 파이썬 64비트 환경에서 32비트 가상환경을 만들때 오류가 발생했었으며, 해외에서도 많은 글들이 있었는데 의외로 간단하게 해결할 수 있다. 일단 오류 메세지는 아래와 같다. ERROR conda.core.link:_execute(698): An error occurred while installing package 'defaults::qt-5.9.7-vc14h73c81de_0'. Rolling back transaction: done LinkError: post-link script failed for package defaults::qt-5.9.7-vc14h73c81..

IT/Python 2021. 5. 3. 23:41

이전에 원격제어 프로그램으로 유명한 팀뷰어(TeamViewer) 프로그램을 사용하다가 윈도우 서버 2012(Windows Server 2012) 을 설치한 PC에 사용하여 상업적 이용으로 보여진다는 이유로 계정 정지를 당하고... 다른 원격제어 프로그램을 찾아보다가 이전부터 사용중인 크롬 원격 데스크톱 앱을 소개합니다. Chrome 원격 데스크톱을 사용하기 위해서는 크롬 브라우저를 설치해야만 사용할 수 있습니다. 크롬 브라우저 다운로드 : https://www.google.com/intl/ko/chrome/browser/features.html Chrome 브라우저를 설치하셨다면 chrome://apps/ 에서 앱스토어 혹은 https://chrome.google.com/webstore/category/..

IT/Util 2018. 3. 21. 21:49

안드로이드(노트7)를 사용하다가 아이폰7 플러스로 바꾸고 나서 와이파이(Wi-Fi)가 잘 잡히지 않는 현상이 생겼었습니다. 공유기에 문제가 있는지 확인하기 위해 안드로이드 휴대폰에서 접속해 본 결과 잘 접속이 되고요. 사용하던 공유기는 iptime의 N604M이라는 예전 모델인데 802.11b/g/n을 지원한다고 제품 설명에는 적혀있지만, 이 중에서 N타입은 5Ghz 대역을 제공하는 공유기에서만 완벽하게 제공하므로 2.4Ghz 대역을 사용하는 이 공유기는 완벽하게 제공하는 것이 아니기 때문에 호환성으로 인해 문제가 생길 가능성이 있다고 합니다. IOS의 호환 문제로 생각되지만 정확한 원인은 확인하지 못했습니다. 그러나 이를 어느 정도 해결하는 방법이 있습니다. 아이피타임의(iptime) 기본설정이라면 게..

IT 2017. 12. 3. 12:37

Apache Tomcat 9.0이 실행되지 않을 때 해결방법입니다. 평소처럼 톰캣을 실행시키려고 하는데 실행이 되지 않아 당황했지만 로그를 확인해보니 아래와 같은 내용이 적혀있었습니다. 2016-12-04 15:27:11 Commons Daemon procrun stdout initialized Configure Tomcat을 실행하고 Java 메뉴에 들어가면 Java Virtual Machine: 이 있습니다. 이곳 경로가 혹시 C:\Program Files (x86)\Java\jre1.8.0_111\bin\client\jvm.dll 로 설정되어 있지 않은지 확인해보세요. (혹은 C:\Program Files\Java\jre1.8.0_111\bin\client\jvm.dll) C:\Program Fil..

IT 2016. 12. 4. 15:37