본문 바로가기

IT14

jupyter notebook 주피터 IOPub data rate exceeded. 해결방법 IOPub data rate exceeded. The notebook server will temporarily stop sending output to the client in order to avoid crashing it. To change this limit, set the config variable `--NotebookApp.iopub_data_rate_limit`. Current values: NotebookApp.iopub_data_rate_limit=1000000.0 (bytes/sec) NotebookApp.rate_limit_window=3.0 (secs) 출력 데이터 초과시 발생하는 오류이다. 해결방법 누르면 나타나는 cmd 창에 jupyter notebook --NotebookAp.. 2020. 6. 12.
크롤링 안되는 사이트 or 거부당할 때 크롤링 할 때 다른 주소는 requests.get(url) 을 받으면 페이지 소스를 잘 받아오는데, 아무 반응이 없거나 위에 그림 처럼 오류가 발생하는 페이지가 있다. 이 때, requests.get(url).text 를 이용해서 내용을 확인해 볼 수 있다. improt requests url = "크롤링할 사이트주소" html = requests.get(url).text html 사이트에서 거부당했음을 확인 할 수 있다. 서버에서 봇으로 인지하고 차단한 경우이다. 불법적인 크롤링을 막기 위한 조치로 해당 사이트에서 크롤링 한 데이터를 상업적인 목적으로 활용할 생각이라면, 여기서 그만두는 것을 추천한다. 서버에서 봇인지 사람인지 사용자를 구분해주는 값을 담는 그릇이 있다. headers 라는 그릇에 {'.. 2020. 4. 5.
mySQL 공부노트 #1 데이터베이스 설치는 복잡하다니 시작은 작게 해보자. 웹에서 코딩이 가능한 codeanywhere 활용. https://codeanywhere.com/ Codeanywhere Codeanywhere is a complete toolset for web development. Enabling you to edit, collaborate and run your projects from any device. codeanywhere.com 로그인 후 새로운 컨테이너 생성. 컨테이너는 하나의 컴퓨터라고 생각하면 된다. 이름은 마음데로, mysql 이 존재하는 환경을 선택해서 create. 컨테이너를 만든 후 왼쪽 mysql을 우클릭 후 ssh terminal 클릭. 이 환경에서 공부하면 된다. -u : 유저선택 -.. 2020. 3. 27.
Anaconda 비트 확인 방법 cmd 창에서 conda info 입력. platform 확인 끝. 2020. 2. 17.