장인으로의 여정26 크롤러(crawler) 만들기(주의 : 실사이트 테스트하면 안됨) 크롤링(Crawling)이란? 크롤링 혹은 스크래핑은 웹 페이지를 그대로 가져와서 데이터를 추출하는 행위를 의미한다. 이번 프로그램은 요청 페이지들 안에 있는 url들을 print하는 것이다. 예를 들어 A라는 페이지를 열면, 그 안에는 다양한 url들을 호출하는 페이지가 있다. 네이버나 다음 메인페이지를 누르게 되면, 수많은 요청문과 함께 이미지 파일들과 css파일, json파일등등이 쏟아져 받아진다. robot.txt 라는 파일을 보고 가져올지 말지를 정해야하는데, 그건 나중에 따로 개발해야한다. 구성방식 1. 먼저 실행시에 크롤링할 IP를 입력 받는다. 2. 입력받은 IP가 ssl인지 여부를 확인 후 크롤러를 실행시킨다. 3. crawled_urls 함수를 이용해 crawl을 실행한다. 4. url.. 2021. 9. 18. 라즈베리파이 IP 확인방법 무선으로 라즈베리파이를 접근하고 싶은데 IP를 까먹었다!! 하지만 라즈베리파이에 IP는 잡혔을 것이다.(미리 세팅해놨을 경우) 이럴 때 어떻게 IP를 알 수 있을 것인가!? 바로 아래와 같이 ping을 쳐보면 된다. 주의할 점은 같은 네트워크대역에서 진행해야 한다는 것이다. ping raspberrypi.local 위와 같이 쓰면 IP를 알 수 있다. 유용하게 사용하길 바란다. 2020. 3. 16. 라즈베리파이 전력 문제 확인방법 라즈베리파이를 사용하면서 전력이 부족한 경우가 여럿 있었다. 이럴 경우 어떤게 문제인지 찾기가 어려웠다. 전력문제일 경우 확인할 수 있는 방법 몇가지를 소개한다. 1. 물리적 기기에서 확인방법 => 라즈베리파이 기기에는 LED가 있다. 라즈베리파이는 전원이 켜지면 LED의 불빛이 들어온다. 녹색인 경우 안정적이라는 의미이고 빨간색의 경우는 전력이 부족하다는 의미이다. 2. UI에서 확인방법 => 라즈베리파이 UI에서 오른쪽에 번개표시가 나는지 확인하는 방법이다. 번개표시가 나면 전력이 부족하다는 의미이다. 3. shell에서 확인방법 => 원격으로만 접속할 수 있는 곳이라면 ssh로 붙어서 확인할 수 있다. cat /sys/devices/platform/leds/leds/led1/brightness 값이.. 2019. 10. 21. 라즈베리파이 NFC Reader 편 [준비물] (1) 라즈베리파이 3 Model B+ (요즘 나오는 최신거 쓰면 된다) (2) NFC Reader(13.56MHz PN532 NFC 모듈) (3) 점퍼 케이블 [설치] 라즈베리파이 OS가 아래와 같이 설치되어 있다는 가정하에 진행한다. 라즈베리파이 버전 Linux raspberrypi 4.19.57-v7+ #1244 SMP Thu Jul 4 18:45:25 BST 2019 armv7l GNU/Linux 라즈베리파이와 NFC 모듈을 점퍼 케이블로 연결해야한다. PN532 Raspberry 5V 5V GND GND SDA SDA0 SCL SCL0 아래 사진은 NFC module 뒷면이고, 빨간색으로 표시한 부분의 pin 4개를 사용한다. MD/SDA/TX → SDA 사용 NSS/SCL/RX → .. 2019. 10. 10. 이전 1 2 3 4 5 ··· 7 다음 반응형
