웹 크롤링 관련 질문
- 작성자 :
- 정*기
- 작성일 :
- 2020-12-17 15:19:19
- 조회수 :
- 3,406
- 구분 :
- 기타
- 진행상태 :
- 완료
Q
안녕하세요.
전자정부 표준프레임워크를 기반으로 웹서비스를 구축하고 있습니다.
타 웹사이트의 정보를 크롤링하려고 하는데요.
타웹사이트가 Ajax로 구현되어있을 경우 표준프레임워크 기반에서는 크롤링이 어렵다고 들었습니다.
사실인지 확인 부탁드립니다.
전자정부 표준프레임워크를 기반으로 웹서비스를 구축하고 있습니다.
타 웹사이트의 정보를 크롤링하려고 하는데요.
타웹사이트가 Ajax로 구현되어있을 경우 표준프레임워크 기반에서는 크롤링이 어렵다고 들었습니다.
사실인지 확인 부탁드립니다.
A
안녕하세요.
표준프레임워크센터 입니다.
기재하신 내용으로 보아
표준프레임워크로 웹서비스를 구축하고
외부 웹사이트의 내용을 크롤링(내용을 수집하여 특정 데이타를 추출하는 것)을
하려는 것으로 이해가 됩니다.
이경우 표준프레임워크 기반이라 하여 특별히 다를것은 없습니다.
특히 크롤링 부분은 MVC기반의 화면구현이 아니라
별도의 기능 모듈로서 구현이 되어야 할수도 있을듯 합니다.
Ajax로 되어 있는경우
응답데이타가 JSON객체형으로 되어 있어
데이타 추출이 용이할 것으로 예상됩니다.
결론적으로
표준프레임워크기반에서 구현하더라도
표준프레임워크는 모든 소스가 공개되어 상용솔루션처럼 블랙박스 부분이 없고
크롤링쪽은 수집을 위한 별도 모듈형태로 개발되어야 할듯 하며
이는 표준프레임워크라고 다르거나 어려워 지는 부분은 없을듯 합니다.
감사합니다.
표준프레임워크센터 입니다.
기재하신 내용으로 보아
표준프레임워크로 웹서비스를 구축하고
외부 웹사이트의 내용을 크롤링(내용을 수집하여 특정 데이타를 추출하는 것)을
하려는 것으로 이해가 됩니다.
이경우 표준프레임워크 기반이라 하여 특별히 다를것은 없습니다.
특히 크롤링 부분은 MVC기반의 화면구현이 아니라
별도의 기능 모듈로서 구현이 되어야 할수도 있을듯 합니다.
Ajax로 되어 있는경우
응답데이타가 JSON객체형으로 되어 있어
데이타 추출이 용이할 것으로 예상됩니다.
결론적으로
표준프레임워크기반에서 구현하더라도
표준프레임워크는 모든 소스가 공개되어 상용솔루션처럼 블랙박스 부분이 없고
크롤링쪽은 수집을 위한 별도 모듈형태로 개발되어야 할듯 하며
이는 표준프레임워크라고 다르거나 어려워 지는 부분은 없을듯 합니다.
감사합니다.