• 쇼핑몰
  • 커뮤니티
  • 북마크

Windows




[노하우] 파싱 이란 의미가 무엇인가요?

하나를하더라도최선을
2019.08.01 15:28 1,089 0

본문



파싱은 parse에 -ing를 붙인 형태입니다. 주로 어떤 데이터를 다른 모양으로 가공하는 걸 말합니다.
예를 들어 parseInt(3)은 3이라는 스트링형 데이터를 다른 모양(정수)로 가공하는 걸 말합니다. 



출처 : https://aftersiesta.tistory.com/8

크롤링(crawling)

크롤링이란 단어는 웹 크롤러(crawler)라는 단어에서 시작한 말이다.

크롤러란 조직적, 자동화된 방법으로 월드와이드 웹을 탐색하는 컴퓨터 프로그램이다.(출처: 위키백과)

크롤링은 크롤러가 하는 작업을 부르는 말로, 여러 인터넷 사이트의 페이지(문서, html 등)를 수집해서 분류하는 것이다.

대체로 찾아낸 데이터를 저장한 후 쉽게 찾을 수 있게 인덱싱한다.


파싱(parsing)

파싱이란 어떤 페이지(문서, html 등)에서 내가 원하는 데이터를 특정 패턴이나 순서로 추출하여 정보를 가공하는 것이다.

위 문장만 보면 굉장히 간단해 보이지만 컴퓨터 과학적 정의를 보면 파싱이란 일련의 문자열을 의미있는 토큰(token)으로 분해하고 이들로 이루어진 파스 트리(parse tree)를 만드는 과정을 말한다.(출처: 위키백과)

인터프리터나 컴파일러의 구성 요소 가운데 하나로, 입력 토큰에 내제된 자료 구조를 빌드하고 문법을 검사하는 역할을 한다.


스크래핑(scraping)

스크래핑이란 HTTP를 통해 웹 사이트의 내용을 긁어다 원하는 형태로 가공하는 것이다.

쉽게 말해 웹 사이트의 데이터를 수집하는 모든 작업을 뜻한다.

크롤링도 일종의 스크래핑 기술이라고 할 수 있다.


출처:https://m.blog.naver.com/potter777777/220605598446                                               컴퓨터 업계에서 일하는 사람들은 "크롤링", "크롤러", "크롤링 알바" 이런 말을 들어본 적이 있을 겁니다. 저도 친구들이나 선배들이 회사에서 크롤링하는 알바를 했다는 경험담을 많이 들었습니다. 개인 프로젝트를 하면서 혹은 팀 프로젝트를 하면서 크롤링 할 일이 있었습니다. 하지만, 어떻게 하는지 몰랐죠.

  여러 사람들에게 조언을 구하고 구글의 힘을 빌려서 제가 원하는 정보를 파싱해서  DB에 넣는 데에 성공했습니다. 원하는 데이터가 잘 나와서 눈물이 앞을 가리더군요. 사람들에게 스크린샷을 찍어서 보내면서 "내가 한거라고 ㅠㅠ" 3일 밤을 새면서 고생했어요. "잘했어... (토닥토닥)" 아 논지를 벗어 났군요.

우리가 흔히 부르는 웹 크롤러 크롤링의 정식명칭은 'Web Scraping' 입니다. 외국 자료를 찾으려고 하니까 'Web Crawling' 보다는 'Web Scraping' 이라는 용어를 자주 사용하더군요.

"Web scraping is a computer software technique of extracting information from websites."
-> 웹 크롤링이란 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것을 의미합니다.

 웹 크롤러란 인터넷에 있는 웹페이지를 방문해서 자료를 수집하는 일을 하는 프로그램을 말합니다. 이때 한 페이지만 방문하는 것이 아니라 그 페이지에 링크되어 있는 또 다른 페이지를 차례대로 방문하고 이처럼 링크를 따라 웹을 돌아다니는 모습이 마치 거미와 비슷하다고 해서 스파이더라고 부르기도 합니다. 엄청난 분량의 웹문서를 사람이 일일 구별해서 모으는 일은 불가능에 가깝습니다. 때문에 웹 문서 검색에서는 사람이 일일이 하는 대신 이를 자동으로 수행해 줍니다. 

예를 들면, "멜론 사이트에서 현재 음악 차트 순위 자료가 필요하다."고 해보겠습니다. 물론, 사이트에 가서 일일이 보고, 엑셀에 값을 넣고 정리해서 상사에게 보고하는 사람들도 있을 겁니다. 하지만 이 데이터를 다른 프로그램이나 무언가를 만들 때 사용하려면 DB 형태로 저장해 놓을 필요가 있습니다.

카테고리, 순위, 발매일, 제목, 앨범제목, 그룹이름 등등... 차트에도 여러 정보가 있겠죠.

 웹은 기본적으로 HTML 형태로 되어 있는 건 다들 아실 겁니다. 저희가 눈으로 볼 수 있다면, 해당 정보가 HTML 형태로 어떻게 보여지는지도 '페이지 소스 보기' 또는 '개발자 검사'로 볼 수 있습니다. 이런 소스들은 보통 개발자들이 어떤 정형화된 형태로 관리하고 있습니다. 때문에 규칙이 생기죠. 이런 규칙을 분석해서 우리가 원하는 정보들만 뽑아오는 것을 웹 크롤링 작업이라고 생각하시면 됩니다.

 한국에서도 웹 크롤링 할 일이 많기 때문에 알바를 구하는 구인 광고도 본 적이 있고 네이버, 다음, 구글 등등 여러 포털 사이트 블로그에 크롤링 하는 방법을 치면 나오는 정보들도 많습니다. 가장 많이 나오는 것이 Python으로 크롤링 하는 소스들이 제일 흔하죠. 현재 파이썬이 가장 떠오르는 언어이죠? 하지만 저는 파이썬보다는 현재 루비와 레일즈를 주로 공부하고 있어서 루비로 크롤러 개발을 할 수 있는 방법을 찾아보았습니다.

 저는 다음 블로그 포스팅부터 몇 차례에 걸쳐서 제가 주로 포스팅하는 언어인 'Ruby' 와 'Rails' 그리고 'nokogiri' 라는 잼(gem)을 이용하여 크롤링하는 방법에 대해서 포스팅 할 예정입니다. 한국에서 nokogiri로 스크래핑하는 것에 대한 방법을 기술한 자료는 그렇게 많지 않았습니다. 일주일 내내 찾아도 제대로 된 것이 2개? 1개? 정도 였고 정보도 통틀어 10개를 넘지를 않았습니다. 그래서 루비와 노코기리로 크롤링 하는 방법을 찾는 분들을 위해서 노코기리 잼 분석부터 레일즈로 띄우는 방법까지 자세히 포스팅하겠습니다.

자세한 웹 크롤링에 대한 정의는 아래 '위키 피디아를 참조'하시기 바랍니다.
https://en.wikipedia.org/wiki/Web_scraping

그리고 외국 자료들이 더 정확하고 유용하니, 웹 크롤링 웹 크롤러로 검색하기 보다는 "Web Scraping with something" 이런 식으로 검색하여 원하는 정보를 찾아서 활용하시기 바랍니다. 

지금부터 하는 크롤링 포스팅에서 추가적인 질문이 있다면, sangjunpark0203@gmail.com 으로 문의주시기 바랍니다.



댓글목록 0

등록된 댓글이 없습니다.