AI를 다루는 개발자가 주의할 점: “모델”보다 “제품 리스크”가 더 크다

AI(특히 LLM)를 붙이면 기능은 빨리 나오는데, 사고도 같이 빨리 나옵니다.
왜냐하면 AI는 “정답을 계산하는 로직”이라기보다 확률적 출력 + 운영 리스크의 묶음이기 때문이에요.

아래는 원문 없이, 실무에서 흔히 부딪히는 지점을 기준으로 주의 포인트 + 최소 가드레일을 정리한 글입니다.

참고: 법/규정은 국가·산업·서비스 형태에 따라 달라요. 이 글은 법률 자문이 아니며, 필요한 경우 내부 보안/법무/컴플라이언스 확인이 필요합니다.
(EU AI Act의 투명성 고지 같은 요구는 대표 예시로만 언급) AI Act Service Desk+1

---

1) 데이터/프라이버시: “학습”보다 “흘러가는 데이터”가 위험하다

AI 기능에서 제일 먼저 터지는 건 보통 데이터입니다.

• 사용자 입력(PII/민감정보)이 프롬프트로 그대로 들어감
• 로그/모니터링에 민감정보가 저장됨
• 내부 문서(정책/가격/소스/키)가 모델 입력으로 유입됨

최소 규칙

• 민감정보 자동 마스킹/차단(입력 단계)
• 로그에는 원문 대신 해시/요약/필드 분리
• “보내도 되는 데이터”와 “절대 보내면 안 되는 데이터”를 문서로 고정

---

2) 환각(할루시네이션): 정답이 아니라 “그럴듯함”을 낸다

AI 출력은 “맞음”이 보장되지 않습니다.
그래서 개발 관점에서 중요한 건 정확도 그 자체보다 “오답이 나왔을 때의 피해”를 설계하는 거예요.

최소 규칙

• 중요한 영역(의료/법/금융/안전)은 인간 검토 없이는 자동 실행 금지
• 출력에 “근거/출처/불확실성”을 함께 요구(가능한 범위에서)
• 모델이 모를 때 “모른다”로 빠지는 경로를 UX에 포함

---

3) 보안: 프롬프트 인젝션은 ‘옵션’이 아니라 ‘기본 위협’이다

LLM 앱에서 대표적인 보안 이슈가 프롬프트 인젝션입니다.
OWASP도 LLM 애플리케이션 상위 위험으로 Prompt Injection, Insecure Output Handling 등을 제시합니다. OWASP

최소 규칙

• 모델을 “신뢰할 수 있는 실행 주체”로 두지 말기(권한 최소화)
• 외부 문서/웹페이지를 읽어오게 할 때: “명령”과 “데이터”를 분리해 다루기
• LLM 출력이 코드/SQL/명령으로 이어질 경우: 검증/샌드박스/allowlist 필수(출력을 그대로 실행 금지) OWASP

---

4) 저작권/라이선스/출처: “생성”은 곧 “사용”이 아니다

이미지/텍스트/코드 생성은 편하지만, 배포/상업 사용에서 문제가 될 수 있어요.

최소 규칙

• 생성물 사용 정책(내부 규정) 정하기: “어디까지 OK?”
• 외부 자료를 넣어 요약/변환하는 경우: 출처/인용 범위 관리
• 코드 생성은 특히: 라이선스/보안 취약점/의존성 검토 프로세스 포함

---

5) 편향/유해 출력: “나쁜 의도”보다 “애매한 상황”에서 터진다

편향은 악의적 사용자만의 문제가 아니라, 평범한 사용자 질문에서도 드러납니다.

최소 규칙

• 금지/제한 정책을 UX에 노출(왜 제한되는지 설명)
• 민감 카테고리(차별/혐오/자해 등) 방어 로직과 에스컬레이션 경로 마련
• “문제 사례 수집 → 프롬프트/가드레일/필터 개선”의 반복 루프 운영

---

6) 투명성/고지: 사용자는 ‘AI인지’ 알아야 한다

특정 규정에서는 사용자가 AI와 상호작용 중임을 알리거나, 합성 콘텐츠 표시를 요구하기도 합니다. (예: EU AI Act의 투명성 의무 조항 사례) AI Act Service Desk+1

최소 규칙

• “AI가 생성/요약한 결과”임을 명확히 표시
• 중요한 결정에 영향을 주는 경우: 한계/오류 가능성 안내
• 합성 콘텐츠(이미지/음성 등)는 표시/워터마크 정책 마련(해당 시)

---

7) 평가/모니터링: 출시 이후가 진짜 시작이다

AI는 데이터/프롬프트/모델 버전이 바뀌면 결과가 달라집니다.
그래서 운영 체계가 없으면 품질이 “조용히” 무너져요.

NIST AI RMF는 위험 관리를 GOVERN, MAP, MEASURE, MANAGE로 구조화합니다. NIST 기술 시리즈 출판물+1

최소 규칙

• 평가셋(대표 질의) 고정 + 릴리즈마다 회귀 테스트
• 프롬프트/모델/룰 버전 관리(롤백 가능하게)
• 모니터링: 실패율, 거절율, 사용자 신고, 비용, 지연시간

---

8) 비용/성능: “토큰”은 곧 “돈 + 지연”이다

AI 기능은 사용량이 늘면 비용이 기하급수로 늘 수 있어요.

최소 규칙

• 캐시/요약/단계적 호출(필요할 때만 호출)
• 최대 길이 제한, rate limit, 타임아웃
• “무료 기능”처럼 보이지만 비용이 큰 구간을 제품 설계에서 통제

---

배포 전 10분 체크리스트(실무용)

•  입력에서 민감정보 차단/마스킹이 되는가
•  로그에 민감정보가 남지 않는가
•  모델 출력이 코드/SQL/명령으로 바로 실행되지 않는가 OWASP
•  프롬프트 인젝션을 전제로 권한/도구 접근이 최소화됐는가 OWASP
•  “모르면 모른다”/에러 처리 UX가 있는가
•  AI 생성 결과임을 사용자에게 명확히 고지했는가 AI Act Service Desk
•  평가셋과 회귀 테스트가 있는가 NIST 기술 시리즈 출판물
•  모델/프롬프트/룰의 버전 관리와 롤백이 가능한가
•  비용/지연/쿼터 제한이 있는가
•  사고 대응(신고/차단/로그 추적) 경로가 있는가

---

요약 5줄

1. AI 개발의 핵심은 모델 성능보다 제품 리스크 관리다.
2. 데이터/로그/프롬프트 경로에서 개인정보가 새기 쉽다.
3. 프롬프트 인젝션과 출력 실행은 LLM 앱의 기본 위협이다. OWASP
4. 투명성 고지, 평가/모니터링, 롤백이 운영의 최소 단위다. AI Act Service Desk+1
5. 배포 전 체크리스트로 “사고 날 구멍”부터 막자.

CTA

지금 만들고 있는 AI 기능이 (1) 채팅/요약, (2) 문서 검색(RAG), (3) 에이전트(도구 실행) 중 어디에 가까운가요?