전체 글34 크롤링 안되는 사이트 or 거부당할 때 크롤링 할 때 다른 주소는 requests.get(url) 을 받으면 페이지 소스를 잘 받아오는데, 아무 반응이 없거나 위에 그림 처럼 오류가 발생하는 페이지가 있다. 이 때, requests.get(url).text 를 이용해서 내용을 확인해 볼 수 있다. improt requests url = "크롤링할 사이트주소" html = requests.get(url).text html 사이트에서 거부당했음을 확인 할 수 있다. 서버에서 봇으로 인지하고 차단한 경우이다. 불법적인 크롤링을 막기 위한 조치로 해당 사이트에서 크롤링 한 데이터를 상업적인 목적으로 활용할 생각이라면, 여기서 그만두는 것을 추천한다. 서버에서 봇인지 사람인지 사용자를 구분해주는 값을 담는 그릇이 있다. headers 라는 그릇에 {'.. 2020. 4. 5. 유닉스 시스템 명령어 ls ■ 설명 파일이나 디렉토리를 보는 명령어 ■ 옵션 -a : 전부 보여달라 (숨김, 디렉토리) -l : 상세정보 (소유자, 크기, 수정시간 등) -S : 크기별 정렬 -h : 단위 표현 변경 (사람이 보기 편한 단위 KB, GB 등으로 보임) ■ 예제 ls -al // 리스트를 상세하게 모두 출력 man ■ 설명 명령어 도움말 ■ 예제 man ls // ls 명령어에 대한 도움말 출력 cd ■ 설명 디렉토리 이동 ■ 예제 cd /abc // 루트 디렉토리에서 abc 디렉토리로 이동 cd ./test11 // 현재 디렉토리에서 test11 디렉토리로 이동 pwd ■ 설명 현재 디렉토리 경로 확인 ■ 예제 pwd mkdir ■ 설명 신규 디렉토리 생성 ■ 예제 mkdir /test1/test11 // t.. 2020. 3. 28. mySQL 공부노트 #1 데이터베이스 설치는 복잡하다니 시작은 작게 해보자. 웹에서 코딩이 가능한 codeanywhere 활용. https://codeanywhere.com/ Codeanywhere Codeanywhere is a complete toolset for web development. Enabling you to edit, collaborate and run your projects from any device. codeanywhere.com 로그인 후 새로운 컨테이너 생성. 컨테이너는 하나의 컴퓨터라고 생각하면 된다. 이름은 마음데로, mysql 이 존재하는 환경을 선택해서 create. 컨테이너를 만든 후 왼쪽 mysql을 우클릭 후 ssh terminal 클릭. 이 환경에서 공부하면 된다. -u : 유저선택 -.. 2020. 3. 27. Anaconda 비트 확인 방법 cmd 창에서 conda info 입력. platform 확인 끝. 2020. 2. 17. 이전 1 ··· 5 6 7 8 9 다음
