[파이썬을 이용한 웹 크롤링과 스크레이핑] URL과 퍼머링크

URL 구조

URL(Uniform Resource Locator)은 인터넷에 존재하는 리소스(파일 등)의 위치를 나타내는 식별자이다.

절대 URL과 상대 URL

• 절대 URL : https:// 등의 스키마로 시작하는 URL
• 상대 URL : 절대 URL을 기준으로 상대적인 경로를 잡는 URL
  • //로 시작하는 URL
  • /로 시작하는 URL
  • 그 밖의 상대 경로 형식의 URL

상대 URL은 절대 URL로의 변환은 파이썬 표준 라이브러리의 urllib.parse 모듈에 포함되어 있는 urljoin() 함수를 사용한다.
urljoin(기준이 되는 URL, 상대 URL)

from urllib.parse import urljoin
base_url = "http://example.com/books/top.html"
urljoin(base_url, "//cdn.example.com/logo.png")
urljoin(base_url, '/articles')

퍼머링크

퍼머링크(Permalink) 는 시간이 흘러도 대응되는 콘텐츠가 변하지 않는 URL이다. 최근 웹사이트는 하나의 콘텐츠가 하나의 URL에 대응되는 경향이 있으며, Permanant + Link 조합의 단어이다. 퍼머링크를 가진 웹사이트는 구글 등의 검색 엔진의 크롤러가 콘텐츠를 인식하기 쉽고, SEO(검색 엔진 최적화)도 잘 이루어진다. 유튜브나 인스타그램 등의 플랫폼에서 콘텐츠를 공유할 때도 사용할 수 있어서 많은 웹사이트가 퍼머링크를 사용하고 있다.

목록/상세 패턴

퍼머링크를 사용하는 웹사이트는 대부분 퍼머링크를 가진 페이지로 연결되는 링크가 목록으로 존재하는 페이지가 있다. 예를 들어, 알라딘의 도서판매 페이지를 보면 전체 도서목록을 확인할 수 있다. 이 사이트의 링크 구조는 목록페이지와 상세페이지로 구성되어 있다.

콘텐츠가 퍼머링크를 갖고 있지 않다면 이런 패턴에 해당되지 않는다. 예를 들어, Ajax가 사용되어 링크를 클릭했을 때 URL이 변하지 않고 내용물만 바뀌는 사이트도 있는데 이렇게 page로 URL이 변하지 않는 사이트는 "목록만 있는 패턴"이라고 한다.