[Make.com 자동화 도구] 1. jina.ai 에서 기사 크롤링 쉽게하기

1. 가져오고 싶은 뉴스기사의 웹페이지가 필요하다.

웹페이지 URL은 아래와 같다. 

( https://www.aitimes.com/news/articleList.html?view_type=sm )

 

2. 웹페이지를 텍스트 형태로 바꿔주는 인공지능 사이트 - https://jina.ai/

jina 를 이용해서 웹페이지 형태의 데이터를 Markdown 형태로 변형 한다.

출력 형태는 아래와 같이 나올것이다.

2-1. 뉴스기사의 URL 을 Jira 화면의 Target URL 영역에 붙여넣기 한다.

 

2-2. CSS 가 덧입혀지는 것을 기다리기 위해 CSS 의 클래스를 기다린다.

view-cont 와 titles 클래스 2개가 모두 로드 되는 것을 기다리기 위해 아래처럼 wait 기능을 넣어준다.

 

2-3. 이제 기사 원문을 가져와 Markdown 형태로 보여주는지 확인 해본다.

> GET RESPONSE 버튼을 눌러보면

-

> Markdown 형태의 Data가 출력된다.

2-4. Make 로 넘어가기 전에 jira 에서 3가지 key 를 가지고 출발한다. 

-

A : https://r.jina.ai/https://www.aitimes.com/news/articleList.html?view_type=sm

B : Bearer jina_??????????????????????????????????????????????????-l

C : X-Wait-For-Selector: .titles, .view-cont

 

---

3. Make.com 에서 새로운 시나리오를 만들어보자.

3-1. 첫 번째 모듈 (Http - Make a request)

output 형태

3-2. 두 번째 모듈 (openai - create a completion)

output 형태

3-3. 세 번째 모듈 (openai - transform text to structured data)

output 형태

3-4. 네 번째 모듈 (Iterator)

3-5 다섯 번째 모듈 (google sheets - add a row)

output 형태 - google sheet 결과물