범용 AI의 한계 : 좋은 답은 왜 기업에서 바로 쓸 수 없을까

HR 담당자가 AI에게 성과평가에 대해 묻습니다.

“성과가 좋은 구성원은 어떻게 평가해야 할까요?”

AI는 꽤 좋은 답을 내놓습니다.

목표 달성도뿐 아니라 과정과 협업을 함께 보고, 일관된 기준을 적용하며, 최근의 성과에만 좌우되지 않도록 주의해야 한다고 설명합니다. 평가 면담 방법과 피드백 문장까지 만들어줍니다.

대부분 맞는 말입니다. 그런데 이 답으로 실제 평가를 할 수 있을까요?

우리 회사가 성과를 무엇으로 정의하는지, 평가 등급은 어떻게 구성되어 있는지, 올해 회사가 무엇을 중요하게 보고 있는지 AI는 모릅니다. 이 구성원의 목표가 연중 어떻게 바뀌었는지, 어떤 성과를 냈고 어떤 피드백을 받았는지도 알지 못합니다.

일반적으로는 맞는 답이지만, 우리 조직에서는 바로 쓸 수 없는 답입니다.

범용 AI의 한계가 드러나는 지점입니다.

최근 AI 모델의 성능은 빠르게 좋아지고 있습니다. 보고서를 작성하고, 데이터를 분석하고, 몇 번의 요청만으로 간단한 결과물을 만들며, 여러 단계의 업무를 수행하는 AI 에이전트까지 등장했습니다.

그런데 기업에서 중요한 것은 AI가 얼마나 똑똑한가만이 아닙니다.

우리 조직의 데이터와 기준에 접근할 수 있는가.
실제 시스템과 연결되어 정해진 권한 안에서 실행할 수 있는가.

이 조건이 갖춰지지 않으면 뛰어난 AI도 기업 안에서는 제한적으로 활용될 수밖에 없습니다.

범용 AI의 한계는 지능의 한계라기보다 조직 맥락과 연결의 한계에 있습니다.

1. 범용 AI란 무엇인가

먼저 이 글에서 말하는 범용 AI의 뜻부터 정리할 필요가 있습니다.

범용 AI는 특정 기업이나 하나의 업무에만 맞춰진 것이 아니라 문서 작성, 요약, 분석, 아이디어 도출, 코딩 등 다양한 업무에 폭넓게 활용할 수 있는 AI를 의미합니다. ChatGPT, Claude, Gemini처럼 범용 모델을 기반으로 제공되는 생성형 AI 서비스가 대표적인 사례입니다.

범용 AI가 빠르게 확산된 이유도 여기에 있습니다.

과거에는 업무에 AI를 적용하려면 특정 목적에 맞는 시스템을 구축하거나 별도의 개발이 필요한 경우가 많았습니다. 지금의 범용 AI는 다릅니다. 하나의 도구로 여러 업무를 처리할 수 있고, 복잡한 사용법을 배우지 않아도 자연어로 질문하고 요청할 수 있습니다. 별도의 시스템을 구축하지 않아도 문서 초안, 요약, 분석, 아이디어 탐색 같은 업무부터 바로 시작할 수 있습니다.

즉, 적용할 수 있는 업무의 범위는 넓어졌고 AI를 사용하는 진입장벽은 크게 낮아졌습니다. 기업과 개인이 빠르게 범용 AI를 받아들인 이유입니다.

반면 도메인 특화 AI는 특정 산업이나 업무에 필요한 지식과 기능에 초점을 맞춥니다. HR, 법률, 의료, 금융 등 특정 영역의 용어와 과업에 맞게 설계된 AI가 여기에 해당합니다.

범용 AI는 특정 영역에 깊게 맞춰져 있지는 않지만, 다양한 업무를 쉽게 시작할 수 있다는 강점이 있습니다. 하지만 다양한 업무에 사용할 수 있다는 것과 우리 회사의 업무를 제대로 수행할 수 있다는 것은 다른 문제입니다.

문제는 기업 고유의 맥락이 필요한 순간부터 시작됩니다.

2. 범용 AI의 한계는 어디서 오는가: ‘우리 회사’를 모른다

범용 AI는 많은 것을 알고 있지만, 기본 상태에서는 우리 회사를 알지 못합니다.

우리 회사의 올해 사업 목표를 모릅니다.
사내에서 사용하는 용어와 직무 체계를 모릅니다.
최근 변경된 평가 제도를 모릅니다.
오늘 바뀐 조직도와 담당자를 모릅니다.
어떤 업무를 누구의 승인 아래 처리해야 하는지도 모릅니다.
회사에 정보가 없어서가 아닙니다. 대부분 이미 존재합니다.

문제는 그 정보가 HR 시스템, 협업 도구, 사내 문서, 데이터베이스 등 여러 곳에 흩어져 있고, AI가 필요한 순간에 접근할 수 있는 형태로 연결되어 있지 않다는 것입니다.

데이터만 연결한다고 해결되는 것도 아닙니다.

실제 업무에는 정보와 판단 기준이 함께 필요합니다.

같은 숫자를 보고도 어떤 조직은 정상으로 판단하고, 다른 조직은 즉시 대응이 필요한 문제로 판단할 수 있습니다. 목표 수준과 제도, 고객 특성, 조직의 우선순위가 다르기 때문입니다. 범용 AI는 일반적인 원칙은 설명할 수 있지만, 별도로 제공하지 않은 우리 조직의 판단 기준까지 알고 있는 것은 아닙니다.

최신성도 중요합니다. 어제 평가 제도가 변경됐거나 오늘 조직이 개편됐다면 현재 상태를 반영한 정보와 연결되어 있어야 합니다. 충분한 근거가 제공되지 않으면 생성형 AI가 사실과 다른 내용을 그럴듯하게 만들어내는 문제도 발생할 수 있습니다.

보안도 함께 고려해야 합니다. 조직의 맥락을 많이 제공한다고 무조건 좋은 것은 아닙니다. 개인정보, 평가정보, 급여, 고객정보처럼 민감한 데이터를 어떤 AI 환경에서 처리할 수 있는지, 외부 서비스로 전달해도 되는 정보가 무엇인지 먼저 정해야 합니다.

그리고 실제 업무에 들어가면 또 하나의 차이가 생깁니다.

답을 만드는 것과 업무를 끝내는 것은 다릅니다.

AI가 휴가 규정을 설명하는 것과 실제 잔여 연차를 조회해 신청 가능 여부를 확인하는 것은 다릅니다. AI가 채용 프로세스를 설명하는 것과 채용 시스템에서 신규 지원자를 불러와 채용 기준에 따라 검토하고 담당자에게 전달하는 것도 다릅니다.

범용 AI가 아무리 좋은 답을 만들어도 우리 조직의 데이터와 업무 시스템에서 분리되어 있다면 할 수 있는 일은 제한적입니다.

결국 기업에서 나타나는 범용 AI의 한계는 단순히 지식이 부족해서 생기는 문제가 아닙니다. 우리 조직의 정보와 판단 기준을 참조하고, 실제 업무 흐름과 연결될 수 있느냐의 문제입니다.

이러한 한계는 사람에 대한 정보와 조직별 판단 기준이 중요한 HR 업무에서 더욱 선명하게 나타납니다.

3. HR에서 범용 AI의 한계는 왜 더 선명하게 드러나는가

HR은 기업마다 제도와 판단 기준의 차이가 큰 영역입니다. 그래서 범용 AI가 제공하는 ‘일반적으로 좋은 답’과 실제 업무에서 필요한 답 사이의 차이가 더 선명하게 나타납니다.

[채용]

범용 AI가 줄 수 있는 답
직무 적합성, 경험, 역량, 조직 적합성 등 지원자를 판단할 때 일반적으로 고려해야 할 기준

실제 채용에 필요한 정보
지금 왜 사람을 채용하는지, 해당 직무에서 어떤 성과를 기대하는지, 어느 수준의 경험과 역량이 필요한지, 우리 조직이 무엇을 중요하게 보는지

같은 경력의 지원자라도 기업의 전략과 조직 상황에 따라 판단은 달라질 수 있습니다.

[성과평가]

범용 AI가 줄 수 있는 답
목표 달성도와 과정의 균형, 평가 오류를 줄이는 방법, 공정한 평가 원칙과 구성원 면담 방법

실제 평가에 필요한 정보
우리 회사의 목표 체계와 평가 기준, 등급 정의, 연중 목표 변경, 실제 성과와 피드백 기록같은 성과를 두고도 회사가 무엇을 성과로 정의하는지, 어떤 기준으로 평가하는지에 따라 결과는 달라질 수 있습니다.

[피드백]

범용 AI가 줄 수 있는 답
좋은 피드백의 원칙, 대화 방법, 상황에 맞는 피드백 문장

실제 피드백에 필요한 정보
이전에 어떤 피드백을 받았는지, 이후 행동이 어떻게 달라졌는지, 현재 역할에서 무엇을 기대하고 있는지

좋은 피드백 문장을 만드는 것과 이 구성원에게 지금 필요한 피드백을 하는 것은 다른 문제입니다.

결국 기업에서 필요한 것은 일반적으로 좋은 답이 아니라 우리 조직에서 사용할 수 있는 답입니다. 특히 HR에서는 같은 ‘성과’, ‘핵심인재’, ‘리더’, ‘레벨’이라는 단어도 조직마다 의미가 다를 수 있습니다. 제도도 다르고, 판단 기준도 다르며, 데이터가 기록되고 해석되는 방식도 다릅니다.

그래서 HR에서 중요한 것은 AI가 HR 지식을 얼마나 많이 알고 있는가만이 아닙니다. 우리 조직의 제도와 데이터, 최근의 변화와 판단 기준을 함께 참조할 수 있어야 실제 업무에 사용할 수 있는 답이 됩니다.

4. AI를 사용하는 것과 성과를 만드는 것은 다르다

기업의 AI 활용은 빠르게 늘고 있습니다.

하지만 AI를 사용하는 것과 실제 업무와 성과를 바꾸는 것은 다른 문제입니다.

McKinsey가 2025년 발표한 조사에서 미국 C-suite 응답자 가운데 자사의 생성형 AI 도입이 ‘성숙한 단계’라고 평가한 비율은 1%였습니다. 여기서 성숙한 단계란 생성형 AI가 일하는 방식을 근본적으로 바꾸고, 상당한 비즈니스 성과를 만들어내는 수준을 의미합니다.

(출처: McKinsey, 「Superagency in the workplace」, 2025)

HR에서도 비슷한 모습이 나타납니다.

Gartner가 2025년 발표한 조사에서는 HR 리더의 88%가 자신의 조직이 AI 도구를 통해 유의미한 비즈니스 가치를 실현하지 못했다고 답했습니다. Gartner 역시 직원들에게 AI 사용을 장려하는 것만으로는 충분하지 않으며, AI를 실제 업무에 통합하는 것이 중요하다고 설명합니다.

(출처: Gartner, 「88% of HR Leaders Say Their Organizations Have Not Realized Significant Business Value from AI Tools」, 2025)

이 숫자를 AI의 성능 부족으로만 해석할 필요는 없습니다. 문서 작성, 정보 요약, 아이디어 도출처럼 조직 고유의 맥락이 많이 필요하지 않은 과업은 범용 AI만으로도 효과를 보기 쉽습니다.

하지만 조직의 성과를 바꾸는 일은 다릅니다. AI가 업무에 필요한 데이터를 읽고, 조직의 기준을 참조하며, 기존 시스템 안에서 다음 업무까지 이어갈 수 있어야 합니다.

AI를 사용하는 사람이 많아지는 것과 AI가 조직의 실제 업무 안으로 들어가는 것은 다른 문제입니다.

5. 해답은 더 좋은 AI가 아니라 더 깊은 연결이다

그렇다면 범용 AI 대신 도메인 특화 AI를 사용하면 해결될까요?

반드시 그렇지는 않습니다.

도메인 특화 AI는 특정 산업이나 업무의 지식과 용어, 과업에 맞게 설계할 수 있습니다. 하지만 특정 분야를 잘 아는 것과 특정 회사를 잘 아는 것은 다른 문제입니다. HR을 잘 아는 AI라고 해도 우리 회사의 평가 제도, 직무 체계, 올해 목표, 최근 조직 개편과 업무 승인 절차까지 자동으로 아는 것은 아닙니다.

도메인 특화와 조직 특화는 다른 문제입니다.

반대로 범용 AI도 우리 조직의 데이터와 기준, 업무 시스템에 제대로 연결하면 실제 업무에서 활용 범위를 크게 넓힐 수 있습니다. 결국 중요한 것은 범용 AI와 도메인 특화 AI 중 하나를 고르는 것만이 아닙니다. AI가 우리 조직의 실제 업무를 수행할 수 있는 조건을 만드는 것이 중요합니다.

최소한 네 가지를 함께 설계해야 합니다.

데이터 접근 → 기준 적용 → 시스템 연동 → 권한 설계

• 데이터 접근

AI가 업무에 필요한 최신 정보에 적시에 접근할 수 있어야 합니다. 모든 데이터를 AI에 연결하는 것이 아니라 어떤 데이터를 신뢰할 수 있는 기준 정보로 사용할지, 데이터의 품질과 최신성을 어떻게 관리할지 정해야 합니다.

• 기준 적용

회사의 제도, 용어, 업무 규칙과 의사결정 기준을 AI가 참조하고 실제 업무에 적용할 수 있어야 합니다. 같은 데이터를 가지고도 어떤 기준을 적용하느냐에 따라 결과는 달라집니다.

• 시스템 연동

답변을 만드는 데서 끝나지 않고 실제 업무를 이어가려면 HRIS, 채용 시스템, 협업 도구, 사내 데이터베이스 등 기존 시스템과 연동되어야 합니다.

• 권한 설계

AI가 어떤 데이터를 조회할 수 있는지, 무엇을 작성하거나 실행할 수 있는지, 어느 단계에서 사람의 승인을 받아야 하는지를 정해야 합니다. 개인정보나 평가·보상 정보처럼 민감한 데이터를 어떤 환경에서 처리할 수 있는지도 함께 정해야 합니다.

저희 팀에서도 실제 에이전트를 만들어 업무에 적용해보면 모델의 답변 품질보다 먼저 결정해야 하는 문제가 있습니다. 워크플로우를 어떻게 재설계할 것인지, AI가 어떤 데이터를 볼 수 있게 할 것인지, 어떤 시스템과 연동할 것인지, 어디까지 실행 권한을 줄 것인지 정하는 일입니다.

결국 기업에서 AI의 실제 성능은 모델의 성능만으로 결정되지 않습니다. 어떤 데이터에 접근하는지, 어떤 기준을 적용하는지, 어떤 시스템과 연동되는지, 어떤 권한 안에서 실행되는지에 따라 달라집니다.

6. 우리 조직은 범용 AI만으로 충분할까

새로운 AI 도구를 찾기 전에 우리 조직의 AI가 실제 업무와 어떻게 연결되어 있는지부터 점검해볼 필요가 있습니다.

☐ AI가 업무에 필요한 우리 회사의 데이터에 접근할 수 있는가?
☐ 우리 조직의 용어, 제도와 의사결정 기준을 참조하고 적용할 수 있는가?
☐ 실제 업무 시스템과 연동되어 있는가?
☐ 어떤 데이터에 접근할 수 있고 어떤 행동까지 실행할 수 있는지, 권한 범위가 정해져 있는가?
☐ AI가 만든 결과와 실행을 누가 확인하고 책임질 것인지 정해져 있는가?

이 질문에 답하기 어렵다면 더 좋은 AI 모델을 도입하는 것만으로 같은 문제가 해결되지 않을 가능성이 큽니다.

범용 AI의 한계를 이야기한다고 해서 범용 AI의 가치가 낮다는 뜻은 아닙니다.

아이디어를 찾고, 초안을 만들고, 정보를 요약하거나 분석하는 업무에서는 범용 AI만으로도 충분한 효과를 얻을 수 있습니다. 모든 업무에 기업 데이터를 연결하고 복잡한 시스템을 구축할 필요도 없습니다.

중요한 것은 어떤 업무에 어느 수준의 AI가 필요한지를 구분하는 것입니다.

일반적인 지식과 생성 능력이 필요한 업무라면 범용 AI로 충분할 수 있습니다. 반면 기업 고유의 데이터와 기준을 활용해 판단하고, 기존 시스템 안에서 실제 업무까지 수행해야 한다면 추가적인 연결과 설계가 필요합니다.

그래서 기업이 먼저 물어야 할 질문은 “어떤 AI가 가장 좋은가”가 아닙니다.

이 업무를 제대로 수행하려면 AI가 우리 조직에 대해 무엇을 알아야 하는가.

그 정보와 기준은 어디에 있는가.
어떤 시스템과 연결해야 하는가.
그리고 어디까지 실행하게 할 것인가.

범용 AI의 한계는 답을 만들지 못하는 데서만 나타나는 것이 아닙니다. 일반적으로 좋은 답을 우리 조직에서 실제로 사용할 수 있는 답으로 만들지 못할 때 더 분명하게 나타납니다.

기업에서 AI의 실제 활용 수준은 모델의 성능만으로 결정되지 않습니다. 결국 데이터와 기준, 시스템과 권한을 어떻게 설계하고 연결하느냐에 따라 달라집니다.

[AI 기반 기업맞춤형 성과관리 솔루션, 클랩CLAP 더 알아보기 ]

• CLAP은 어떤 기업을 위한 성과관리 솔루션인가요?

클랩(CLAP)은 중견·대기업을 위한 AI 기반 기업맞춤형 성과관리 솔루션입니다. 목표, 피드백, 원온원, 평가, 진단 등 분산된 성과관리 데이터를 하나의 시스템으로 통합해 구성원의 성과 과정과 성장 이력을 연결된 흐름으로 관리할 수 있도록 지원합니다. 클랩의 차별점은 AI와 맞춤형 설계를 함께 제공한다는 점입니다. 평가 자료 요약, 주관식 답변 요약, 평가 코멘트 개선, 목표·지표 추천 등 다양한 AI 기능을 통해 반복적인 수작업을 줄이고, 성과 데이터를 자동으로 요약·분석해 HR 리포트와 실행 가능한 인사이트를 제공합니다. 또한 100개 이상의 모듈과 6주 이내 신규 모듈 개발이 가능해 기업의 성과관리 제도와 조직 문화에 맞춰 100% 맞춤형으로 시스템을 설계할 수 있습니다. 클랩은 AI를 활용해 성과관리 업무를 효율화하면서도, 기업마다 다른 성과관리 방식을 그대로 구현할 수 있는 솔루션입니다.