curl -sL https://www.example.com/ | grep -o "[^"
curl -sL https://www.example.com/ | head -c 1200
반환값에 `
`와 스크립트 태그만 있고 읽을 수 있는 회사명, 제품명, 문단 텍스트가 없다면 검색 크롤러가 처음 받는 것은 이 빈 껍데기입니다. Google의 JavaScript SEO 문서는 크롤링과 렌더링의 관계를 설명합니다. 스크립트 콘텐츠가 완전히 보이지 않는 것은 아니지만 렌더링에는 추가 크롤링 큐와 리소스가 필요하며, 콘텐츠와 링크가 스크립트에 의존할수록 올바르게 읽힐 불확실성이 커집니다([Google JavaScript SEO 기초](https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics) 참조).
**고치는 방법**: 핵심 콘텐츠가 초기 HTML에 들어가게 하세요. 서버 사이드 렌더링, 정적 생성, 또는 최소한 제목·본문·내부 링크를 실제 태그로 출력해야 합니다. 판단 기준은 간단합니다. 브라우저 JavaScript를 끄고도 페이지를 읽을 수 있어야 합니다.
## 점검 2: Title과 Meta Description이 올바르게 작성되었는가
AI가 페이지를 생성할 때 가장 놓치기 쉬운 것은 메타데이터입니다. 화면상 전혀 보이지 않기 때문입니다. 빈번한 세 가지 오류:
- **사이트 전체가 같은 Title**: 템플릿 변수가 치환되지 않아 모든 페이지가 “홈 | 브랜드명”입니다.
- **Description이 비어 있음**: Google이 본문에서 임의로 발췌하므로 요약이 정보량 없이 읽힐 때가 많습니다.
- **Title이 너무 김**: 중국어 제목은 약 30자를 넘으면 모바일에서 잘려 핵심 포인트가 잘릴 수 있습니다.
```html
기업 웹사이트 구축: 요구사항부터 출시까지의 전체 프로세스 | 브랜드명
자체 점검 방법: 핵심 페이지 5개(홈, 제품 페이지, 가격 페이지, 사례 페이지, 블로그 페이지)를 뽑아 Title이 각각 다르고 해당 페이지의 주제어를 포함하는지 확인하세요. Description은 키워드 나열이 아니라 완전한 한 문장이어야 합니다.
점검 3: sitemap.xml과 robots.txt가 실제로 사용 가능한가
이 두 파일은 크롤러가 사이트에 들어오는 입구이며, AI 웹사이트 제작에서 가장 쉽게 간과되는 파일입니다. 화면상 존재하지 않기 때문입니다.
# https://www.example.com/robots.txt
User-agent: *
Disallow: /admin
Disallow: /preview
Disallow: /api
Allow: /
Sitemap: https://www.example.com/sitemap.xml
https://www.example.com/pricing
2026-03-01
세 가지를 중점 확인하세요. sitemap의 도메인은 미리보기 도메인이 아니라 정식 도메인이어야 합니다. Disallow된 경로가 sitemap에 동시에 나타나면 안 됩니다. Sitemap: 줄은 절대 주소여야 합니다.
동시에 robots.txt의 한계를 알아야 합니다. Google은 색인 가이드에서 robots.txt가 크롤링을 제어할 뿐 신뢰할 수 있는 색인 방지 수단은 아니라고 경고합니다. robots.txt에 의해 차단된 URL도 외부 링크 때문에 검색 결과에 나타날 수 있습니다. 페이지가 확실히 색인되지 않아야 할 때는 noindex(robots meta 태그 또는 X-Robots-Tag 응답 헤더)를 사용해야 합니다. Google은 2026년 10월 문서 업데이트에서 “검색을 위한 콘텐츠만 색인” 섹션을 추가하며, 공유·협업·도구 출력에만 쓰이는 생성 페이지는 기본적으로 색인하지 않도록 설정하고 Search Console의 페이지 색인 보고서와 검색 실적 보고서로 색인 이상을 모니터링할 것을 권장했습니다(자세한 내용은 Google 색인 가이드 업데이트 해설 참조).
점검 4: canonical이 이 페이지를 가리키는가
rel=canonical은 검색엔진에 “이 유사 URL 그룹에서 어느 것이 대표 버전인지” 알려줍니다. AI 생성 시 세 가지 오류가 자주 발생합니다:
- 모든 페이지가 홈을 가리켜 Google에 모든 페이지가 홈의 복사본이라고 말하는 셈입니다.
- 미리보기 또는 테스트 도메인을 가리켜 정식 페이지가 오히려 복사본으로 취급됩니다.
- 파라미터가 붙은 주소와 깨끗한 주소가 서로를 가리켜 신호가 충돌합니다.
-
올바른 방법: canonical은 절대 주소, https, 색인되길 원하는 최종 URL과 완전히 일치해야 합니다(끝 슬래시 포함 여부는 사이트 전체에서 통일). 다국어 사이트는 각 언어 버전이 자기 자신을 가리키고 hreflang으로 대응 관계를 설정해야 하며, 서로를 영어 버전으로 canonical 처리하면 안 됩니다.
점검 5: 구조화 데이터에 잘못된 정보가 들어갔는가
AI는 구조화 데이터를 “보완”하는 데 능하고, 동시에 없는 평점, 존재하지 않는 가격대, 허구의 설립 연도를 만들어 넣는 데도 능합니다. 이는 모두 구조화 데이터의 기본 요구사항, 즉 데이터가 페이지의 가시 콘텐츠와 일치해야 한다는 원칙을 위반합니다.
{
"@context": "https://schema.org",
"@type": "Organization",
"name": "브랜드명",
"url": "https://www.example.com/",
"logo": "https://www.example.com/logo.png"
}
원칙은 많이 넣기보다 적게 넣는 것입니다. 페이지에서 볼 수 있는 필드만 작성하고, 불확실한 설립 시점·평점·재고 상태는 모두 삭제하세요. 게시 전 구조화 데이터 테스트 도구로 실행해 파싱 오류가 없는지 확인하세요.
점검 6: 폼, 팝업, 인터랙션이 크롤러를 막지 않는가
폼 자체는 색인에 영향을 주지 않습니다. 문제는 폼이 종종 본문을 “대체”한다는 점입니다. 페이지 전체에 리드 수집 폼만 있거나, 콘텐츠가 로그인 뒤에 잠겨 있거나, 첫 화면에 쿠키 동의를 요구하는 전체 화면 팝업이 뜨는 경우입니다. 크롤러 입장에서 이런 페이지는 검색 의도와 매칭할 텍스트가 부족합니다.
또한 AI 웹사이트 제작은 “일회성” 페이지를 대량 생성하는 경우가 많습니다. 폼 제출 성공 페이지, 견적 결과 페이지, 공유 링크 등입니다. 이런 페이지가 색인되면 사이트 품질이 희석됩니다. Google의 권고에 따르면 기본적으로 noindex로 설정하는 것이 더 안전합니다(색인 가이드 해설). 반대로 실제 검색을 겨냥한 랜딩 페이지는 클릭해야 펼쳐지는 방식이 아니라 완전히 보이는 HTML 본문을 유지해야 합니다.
몇 분 만에 쇼케이스 사이트를 만들고 리드를 늘리세요
아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.
무료 등록을 위한 하나의 완전한 프로젝트 생성
하나의 완전한 생성 흐름을 시도하고 첫 번째 프로젝트 초안을 빠르게 보는 데 가장 적합합니다.
점검 7: 다음에 AI로 페이지를 수정하면 SEO 설정이 되돌아가는가
이것이 AI 웹사이트 제작에서 가장 과소평가되는 위험입니다. 페이지는 계속 생성되므로 오늘 수동으로 보완한 Title, canonical, robots 규칙이 내일 “색상 좀 바꿔 주고 문구도 최적화해 줘”라는 재생성 한 번에 덮어써질 수 있습니다.
실현 가능한 방법은 기억에 의존하는 것이 아니라 프로세스 제약입니다:
- SEO 관련 설정을 템플릿이나 전역 구성에 모아 페이지별 수작업을 줄입니다.
- 재생성할 때마다 체크리스트를 실행해 최소한 홈, 제품 페이지, 가격 페이지를 확인합니다.
- URL 수의 이상 증가를 주시합니다. 템플릿 변경이나 신규 기능 출시는 종종 새 URL을 대량 생성하므로, Google은 플랫폼 측 콘텐츠 생성량과 색인량 변화를 함께 모니터링할 것을 권장합니다(위와 같음).
- 출시 전 “설정 항목 Diff”를 고정합니다. Title, canonical, robots, sitemap 네 항목을 이전 배포 버전과 비교합니다.
점검 8: 왜 이 일에 투자할 가치가 있는가
기술 SEO는 소수만의 주제가 아닙니다. Mordor Intelligence의 통계에 따르면 기술 SEO 서비스 시장은 2025년 15억 7,300만 달러 규모이며, 2026년 16억 8,900만 달러에서 2031년 28억 3,700만 달러로 성장해 2026~2031년 연평균 약 10.93% 성장할 전망입니다. 그중 기술 SEO 카테고리는 2025년 32.41%를 차지했는데, 렌더링, 사이트 구조, 리디렉션, 구조화 데이터, 페이지 성능이 콘텐츠의 대규모 발견과 회수를 직접 결정하기 때문입니다. 보고서는 Google이 여전히 Core Web Vitals를 검색 평가에 포함한다고도 밝힙니다(데이터는 Technical SEO Services 시장 보고서 참조). 즉, 페이지 출시는 시작일 뿐이며, 크롤링되고 이해되고 인용될 수 있는지가 검색과 AI 검색 시대의 입장권입니다.
AI 웹사이트 제작 출시 전 10개 SEO 체크리스트
| # | 점검 항목 | 통과 기준 |
|---|---|---|
| 1 | 초기 HTML | JS를 끈 상태에서도 제목과 본문이 보임 |
| 2 | HTTP 상태 | 핵심 페이지가 200을 반환하고, 이전 주소는 새 주소로 301 |
| 3 | Title | 페이지마다 고유하고 주제어를 포함하며 길이 관리 가능 |
| 4 | Meta Description | 페이지마다 독립적이고 완전한 문장 |
| 5 | robots.txt | 백오피스와 미리보기 경로만 차단, Sitemap은 절대 주소 |
| 6 | sitemap.xml | 정식 도메인과 색인 가능한 페이지만 포함 |
| 7 | canonical | 자체 정식 URL을 가리키고 사이트 전체 슬래시 규칙 통일 |
| 8 | noindex | 미리보기 사이트, 결과 페이지, 공유 페이지는 기본 비색인 |
| 9 | 구조화 데이터 | 페이지 가시 필드만 작성, 파싱 오류 없음 |
| 10 | 인터랙션과 폼 | 본문이 팝업, 로그인 장벽, 폼에 의해 독점되지 않음 |
이 표의 가치는 “고급 테크닉”이 아니라 반복 가능성에 있습니다. 배포 전마다 한 번 실행하면 10분으로 대부분의 “만들었는데 검색되지 않는” 상황을 막을 수 있습니다.
기업은 지금 무엇을 해야 하는가
AI 도구로 웹사이트를 만들고 있다면 순서를 이렇게 조정할 수 있습니다. 먼저 구조와 콘텐츠를 생성하고, 그다음 메타데이터와 색인 규칙을 보완하며, 마지막으로 출시 전 검증을 통합 수행합니다. We0 같은 AI 웹사이트 제작 플랫폼은 페이지 생성, CMS 백오피스, 도메인 배포, SEO/GEO 설정을 하나의 흐름에 배치했습니다(We0 공식 사이트 참조). 생성 속도가 빠르다는 점은 한 가지 전제를 바꾸지 않습니다. 검색엔진은 실제로 HTML에 출력된 것만 인식하므로 출시 후 실측은 여전히 생략할 수 없습니다.
구체적 행동은 세 단계를 권장합니다. 먼저 curl로 초기 HTML을 확인하고, 다음으로 검색 콘솔에서 크롤링·색인 상태를 확인하며, 마지막으로 위 10개 항목을 출시 전 고정 절차로 만들어 팀의 출시 프로세스 문서에 작성하세요.
FAQ
Q: AI가 생성한 웹사이트는 본질적으로 SEO 요구사항에 맞지 않나요?
아닙니다. AI 생성은 생산 방식일 뿐이며, 문제는 생성 과정이 기본적으로 “페이지가 보기 좋은지”에 주목하고 “검색엔진이 무엇을 읽었는지”를 확인하지 않는다는 데 있습니다. 초기 HTML에 본문이 포함되고 메타데이터와 색인 규칙이 올바르면 AI 제작과 수작업 제작은 검색 성과에서 본질적 차이가 없습니다.
Q: 페이지가 Google에서 검색되지 않으면 순위가 내려간 건가요?
대부분은 아직 “순위 하락” 단계가 아니라 크롤링 또는 색인이 되지 않은 상태입니다. 먼저 색인 상태를 확인하고, 그다음 robots.txt나 noindex에 막혔는지 확인한 뒤, 마지막으로 콘텐츠 품질과 경쟁도를 봐야 합니다.
Q: sitemap만 제출하면 색인이 보장되나요?
아닙니다. sitemap은 발견 단서이지 색인 약속이 아닙니다. 크롤러가 어떤 페이지가 있는지 더 빨리 알 수 있게 하지만, 페이지 색인 여부는 크롤링 접근, 콘텐츠 품질, 색인 규칙에 달려 있습니다.
Q: JavaScript로 렌더링된 페이지는 Google이 반드시 읽지 못하나요?
반드시 그렇지는 않지만 불확실성이 더 높습니다. 렌더링에는 추가 리소스가 필요하고, 페이지가 스크립트에 의존할수록 첫 화면 텍스트와 링크가 올바르게 읽힐 확률이 낮아집니다. 핵심 콘텐츠를 초기 HTML에 넣는 것이 비용이 가장 낮은 보험입니다.
Q: 효과는 얼마나 걸리나요?
색인과 순위에는 통일된 시간표가 없으며 크롤링 빈도, 사이트 규모, 경쟁 상황에 따라 다릅니다. 확실한 것은 설정 오류는 발견하고 수정할 때까지 계속 적용된다는 점입니다.
관련 도구
- Google Search Console: 페이지 색인 보고서와 검색 실적 확인
- Google JavaScript SEO 문서: 렌더링과 크롤링의 실제 규칙 확인
curl/ 브라우저 개발자 도구: 초기 HTML과 JS 비활성화 후 가독성 검증- 구조화 데이터 테스트 도구: JSON-LD 파싱 가능 여부 검증
관련 링크
- Google JavaScript SEO 기초
- Google 색인 가이드 업데이트 해설: 공유 가능 페이지와 생성 콘텐츠
- Technical SEO Services 시장 규모와 트렌드 보고서
- We0 공식 사이트
요약
AI 웹사이트 제작은 출시를 빠르게 하지만 검색엔진의 작동 방식을 바꾸지 않았습니다. 검색엔진은 화면의 시안이 아니라 HTML, 응답 헤더, 링크 구조를 읽습니다. 출시 전 초기 HTML, Title과 Description, robots.txt와 sitemap, canonical, noindex, 구조화 데이터, 폼과 인터랙션의 일곱 지점을 확인하고 이를 프로세스로 고정하면 “웹사이트는 만들었지만 트래픽이 없는” 상황을 일상이 아니라 점검 가능한 문제로 바꿀 수 있습니다.
