크롤링 방법이 구글에 돌아다니는 사이트 외에
처음 보는 사이트를 크롤링 하려하니 이런 저런 방법을 동원하게 됬다.
잠깐 웹해킹 스터디를 할 때 접했던
burp suite 를 활용해서 로그인이 필요한 사이트를 크롤링 해보겠다.
Burp Suite - Cybersecurity Software from PortSwigger
Burp Suite is a leading range of cybersecurity tools, brought to you by PortSwigger. Find out more, and request your free trial of Burp today.
portswigger.net
Community 버젼으로 다운로드 받는다.
인터넷 옵션 -> 연결 -> LAN설정 이동
확인 눌러서 설정을 완료하면, 크롬을 이용하여 https 사이트를 들어갈 수 없었다.
방법을 찾아보니 인증서를 가져오면 된다고 한다.
인증서를 가져오는 방법
원하는 위치에 인증서를 다운 받는 후 크롬 설정을 들어간다.
설정에 인증서 관리를 누르고,
인증서를 가져오면 끝.
intercept is off 를 on 으로 바꾸고 원하는 사이트에 로그인을 시도 할때 Forward 버트는 한 번씩 누르면서 어떤 값들이 전달되는지 확인한다.
그런데 내가 크롤링 하려는 사이트는 쿠키를 봐도 어떤 값이 아이디와 비밀번호를 넘기는지 아직 모르겠다. ㅠ