사용자 정의 웹사이트(Custom Website)를 Rovo에 연결하기
이 커넥터를 통해 귀사의 웹사이트를 크롤링 및 색인하여, Rovo 검색 결과, Rovo Chat, Rovo Agents에서 활용할 수 있습니다.
인덱싱 대상 객체
Custom Website 커넥터는 다음 객체를 색인합니다:
웹페이지 (MIME 유형:
text/html)텍스트 파일 (MIME 유형:
text/plain)
각 항목별로 인덱싱되는 속성
이름 (Name)
URL
생성일 (Created date)
마지막 수정일 (Last updated date)
설명 (Description)
페이지 내용 (Page content)
시작 전 준비사항
이 커넥터는 귀하가 소유한 공개 웹사이트만 크롤링할 수 있습니다.
크롤링하려는 웹사이트의 도메인 또는 서브도메인 소유권을 확인하려면, 해당 사이트의
robots.txt파일을 직접 수정할 수 있어야 합니다.현재 이 커넥터는 공개된 웹사이트만 크롤링합니다.
→ 제한되지 않은 모든 페이지는 팀원들의 검색 결과에 표시될 수 있으므로, 공개 범위를 사전에 검토하는 것이 좋습니다.
robots.txt 수정하기
웹사이트의 robots.txt 파일을 수정할 수 있어야 합니다.
잘 모를 경우 robots.txt 작성법을 참고하거나, 웹사이트 관리자에게 문의하세요.
최소한 아래 내용을 robots.txt에 추가해야 합니다:
makefileUser-agent: atlassian-bot
참고:
User-agent: *만으로는 크롤링 허용이 되지 않습니다.
반드시atlassian-bot항목이 명시되어야 합니다.
참고: User-agent: * 만으로는 크롤링이 허용되지 않습니다.
반드시 User-agent: atlassian-bot 항목이 명시되어 있어야 합니다
크롤링하려는 웹사이트가 서브도메인(예:
https://support.vitafleet.com/)인 경우,
해당 서브도메인에 별도의 robots.txt (https://support.vitafleet.com/robots.txt)를 둬야 합니다.
→ 최상위 도메인(예: https://www.vitafleet.com/robots.txt)을 수정해도 적용되지 않습니다.robots.txt파일은 공개 파일이므로,atlassian-bot허용 여부는 외부에서 항상 확인 가능합니다.
특정 경로에 대한 허용(Allow) 또는 차단(Disallow) 을 하고 싶다면 예시처럼 설정하세요:
makefileUser-agent: atlassian-bot
Disallow: /not-useful/
→ 이 설정은 /not-useful/ 경로를 제외한 나머지 모든 공개 페이지를 Rovo가 인덱싱하도록 허용합니다.
웹사이트 연결 및 크롤링 설정
Atlassian Admin에서 사용자 정의 웹사이트(Custom Website)의 설정 화면에 접근하려면 다음 단계를 따르세요:
Atlassian Administration 으로 이동합니다.
조직이 여러 개인 경우, 연결할 조직을 선택합니다.
Settings > Rovo 로 이동합니다.
연결할 사이트 옆의 Add connector(커넥터 추가) 를 선택합니다.
Custom website 를 선택하고 Next(다음) 를 클릭합니다.
크롤링 설정:
크롤링할 웹사이트의 이름을 입력합니다.
전체 도메인 URL(https:// 포함) 을 입력합니다.
Rovo가 웹사이트를 얼마나 자주 색인할지 주기를 선택합니다.
데이터 사용에 대한 내용을 검토하고 동의합니다.
Connect(연결) 를 클릭합니다.
연결 후 다음 단계
크롤링 설정을 완료하면:
설정이 완료되면, 즉시 웹사이트 크롤링 및 색인화가 시작됩니다.
몇 시간 이내에 팀원들과 함께 Rovo 검색에서 점진적으로 페이지가 노출되기 시작합니다.
웹사이트의 페이지 수에 따라 모든 콘텐츠가 색인화되어 검색에 표시되기까지 시간이 걸릴 수 있습니다.