#Ai #development

자동화 관련되어서 Make 나 n8n 을 사용해봐도, 핵심은 API를 제공하지 않으면, 매끄럽게 힘들다는거고,

API없이 웹스크랩으로 Selenium 으로 처리하자니, 시간도 많이 걸리고, 웹페이지 변경시 많은 수고로움이 든다.

기존에 chrome extension webscraper를 통해서 여러 사이트들의 일괄적으로 텍스트를 추출하는 능력은 탁월하다고 생각했는데, 유사한 서비스가 Jina AI 의 Reader API는 무료로 사용할 수 있게 해놓았지만, 언제 유료로 바뀔지 모른다.

n8n을 로컬에 설치해서 뭔가를 해보려해도 flow를 엮어주는 키가되는 부분은 거의 과금을 유도하기 때문에 제한적으로 자동화를 할 수 있다.

결국은 python 으로 webscrap 하는것이 결과적으로 가장 깔끔하고 오래걸리는 작업으로 볼 수 있다.

n8n 을 이용해서 한다는것은 왠만큼은 API로 처리가 되어야한다는것, 하다 못해 Notion에 글을 올리는것 조차 API 연결을 해야하고 글자수 제한이 있어서 온갖 편법을 시도해야한다는 슬픈 사실. .

고생했는데, Selenium 으로 Perplexity 에 접속해서 질의하고 답변 받는 스크립트는 block되어 있어서 할수 없었다. 역시 AI 세상, 무료가 되는부분은 수익성을 위해 지능적으로 막아 놓았다. 현실적으로 가능한것은 Autohotkey따위로 계속 질의하고 답변 받는 방식 밖에 없는데. 거의 사람이 메뉴얼로 긁어 오듯이 말이야.