리스틀리 크롬 확장 프로그램에 추가하면 데이터 수집 5초만에 끝

https://youtu.be/j0AnQ6ABeTU

2019년 11월 3일 유튜브에 이 영상을 올렸습니다.

빅데이터 분석을 쉽게 도와주는 사이트를 소개하고, 간단한 사용 방법을 안내했습니다.

링크를 건 영상을 올리고 바로 다음 달 류마티스 관절염이라는 질병이 찾아오고,

2020년은 병원 치료와 계속되는 무기력으로 정말 힘든 시기를 보냈고, 사실은 아직도 열심히 치료를 하고 있습니다.

 

"새옹지마" 라는 말이 있는데,

크게 아프고 나니 세상이 좀 더 명확하게 보이고, 삶을 즐겁게 사는 방법을 더욱 고민하게 되었는데요.

그렇게 무엇을 준비하고 어떻게 살아갈 지 방향감을 찾을 수 있게 되었습니다.

 

여러가지 이유로 우리가 사는 세상은 "타자의 시선"에 자유로울 수 없습니다.

돈을 버는 목적, 돈을 지켜야하는 목적, 취미를 공유하는 목적, 의식주를 해결하는 목적 등 여러가지 목적을 이루려면,

타자의 시선은 정말 중요한 데이터입니다.

그래서 오늘날 경쟁력 있는 "타자의 시선을 확보 방법"이라는 전쟁이 곳곳에서 일어나고 있습니다.

크게 소리를 내고 총칼을 휘두르는 전쟁이 아니라 조용하고 은밀하게 국지적으로 일어났다가 잠들었다를 반복합니다.

 

그런 방법 중 하나를 여러분들께 공유하려고 합니다.

위 영상에 소개한 사이트 중 [블랙키위]를 예제로 하여 포스팅을 하도록 하겠습니다.

https://blackkiwi.net/

블랙키위 - 키워드 검색량 조회, 분석

블랙키위 사이트가 리스틀리와 궁합이 잘 맞더라구요.

 

리스틀리

https://www.listly.io/

리스틀리 | 단숨에 웹데이터 추출!

학생, 교수, 교사, 일반인, 마케터, 데이터마이닝 담당자, 기획자, 쇼핑몰운영자, 콘텐츠 기획자 그 누구도 데이터에 자유로운 사람은 이제는 없습니다.

농사를 짓는 농부라도 날씨, 수확물 종류와 수확물 량 등 데이터가 필요한 시대입니다.

 

리스틀리는 데이터 분석 업무가 필요한 분들에게 빠르게 데이터를 수집할 수 있는 방법입니다.

리스틀리가 해주는 기능을 용어로 정의하면 웹 크롤링 (web crawilng) 이라고 합니다.

컴퓨터에 분산 저장되어 있는 문서를 수집하여 색인(index)하는 작업이라고 설명할 수 있습니다.

리스틀리 메인 사이트에 접속하면

"데이터 추출을 클릭 1번에" 캐치 슬러건이 눈에 띄입니다.

바로 밑에 붉은 상자 안에 [크롬확장프로그램 추가] 버튼이 있는데요.

클릭을 해봅니다. (중요 : 리스틀리 사이트 접속을 할 때 크롬 브라우저를 통해 접속하셔야 합니다.)

크롬 다운로드 주소 : https://www.google.com/chrome/

 

박스를 클릭하면 [크롬 확장 프로그램]을 추가할 수 있는 사이트로 이동하며,

크롬에서 추가 버튼을 클릭하면 크롬 확장 프로그램에 추가가 됩니다.

 

크롬 확장 프로그램이란?

우리가 APP(앱)이라고 말하는 것과 비슷한 것인데요. 크롬 브라우저를 더 유용하게 사용할 수 있도록 도와주는 크롬 브라우저 앱입니다.

브라우저 우측 상단에 확장 프로그램 즐겨찾기를 해둘 수 있습니다.

퍼즐 조각 모양의 아이콘을 선택하면,

확장 프로그램에 핀을 꽂을 수 있고, 핀을 꽂으면 브라우져 상단에 계속 나오게 됩니다.

여기까지 하셨다면 준비는 끝났습니다.

이제 실제로 활용을 해보도록 하겠습니다.

 

블랙키위 사이트로 가봅니다.

꿀팁이라는 키워드로 검색을 해봤습니다.

연관 키워드 관련 검색량과 블로그 발행량, 철자 유사도를 볼 수 있습니다.

이런 데이터를 사이트에서 보고 정리할 때 리스틀리는 정말 유용합니다.

이제 즐겨찾기에 표시된 아이콘을 클릭합니다.

 

사이트 전체를 크롤링 할 것인지,

사이트 부분을 크롤링 할 것인지 옵션이 나옵니다.

전체를 선택합니다.

리스틀리에서 사이트 크롤링을 끝냈습니다.

메뉴에서 [엑셀] 버튼을 클릭하면, 데이터를 엑셀로 변환해줍니다.

자! 변환 된 엑셀 파일입니다.

꿀팁 키워드와 연관 검색 키워드도 알 수 있게 되었고,

각 키워드 별 검색량과 블로그 발행량도 파악할 수 있습니다.

리스틀리 덕분에 해당 데이터를 문자와 숫자열로 쉽게 얻었으니 데이터마이닝 작업이 더 쉬워졌네요.

 

이번 포스팅은 여기까지입니다.

차후에 더 심도 있는 내용은 따로 포스팅을 하도록 하겠습니다.

 

크롤링을 하려면 프로그래밍 언어 공부가 필요했는데,

역시 시간이 지나며 편리하게 크롤링이 가능한 소프트웨어들이 태어나고 있네요.

그럼 우리가 쉽게 사용해주면 되겠죠 ^^