2주차 과제 - AI와 보안위협 증대(자유주제)

0. 과제 및 과정 소개

2주차 자유주제 - AI와 보안 위협 증대.pptx

2.33MB

 

과제 발표에 사용한 PPT파일을 첨부합니다. 해당 과제는 AI스쿨 리팩토링 보안 과정의 일부로 2023년 11월 25일 발표된 과제입니다. 해당 과제는 AI산업의 성장, 보안위협의 증가, AI에 내재된 위협을 간략히 다루었습니다. 해당 교육과정에 참여하고자 하신다면 AI스쿨 공식 카페에 방문하여 상세 과정을 확인해 주시기 바랍니다. 

 

https://cafe.naver.com/itscholar

정보보안전문가 취업카페 스칼라 : 네이버 카페

 

자유주제로는 AI로 인해 급증하는 보안위협을 다루었습니다.

 

1. AI의 발전

 

  AI서비스가 눈부신 발전을 거듭하고 있습니다. ChatGPT를 모르는 사람은 이제 찾아보기 힘들 지경입니다.

100만 유저를 확보하기까지 서비스당 걸린 시간

 

보통 IT서비스의 인기 또는 흥미를 평가하는 지표로 100만 유저를 확보하기까지 며칠이 걸렸는가 하는 통계가 있습니다. 넷플릭스는 3.5년, 페이스북은 10개월이 걸렸지만 ChatGPT는 단 5일만에 100만 유저를 확보했습니다. 어찌 보면 당연한 일이기도 합니다. 기존의 종류를 불문한 다양한 서비스(언어, 코딩, 이미지, 비디오, 3D 모델링, 게임, 법 서비스 등)를 대신 처리하기 시작했기 때문입니다.

세계 AI시장 규모 성장 추이 예측

 

물론 이는 당연히 그만큼 늘어난 이용자의 요구를 처리할 AI기반시설이 많이 필요하다는 뜻이기도 합니다. 

 

1. 고성능 데이터 센터를 각지에 신설 필요
2. AI전용 반도체 칩셋 생산의 필요

 

이들이 필수가 되었습니다. 관심과 자본이 늘어나고, 투자도 전세계적으로 급증했습니다. 그러면 어떤 변화가 나타났을까요?

• 투입하는 데이터 양과 종류가 늘어난 데 따른 딥러닝의 개선
• 기존에도 AI 투자는 많이 이뤄졌으나, 생성형 AI 전반과 다양한 도구의 기반이 되는 대규모 언어 모델(LLM)에 대한 투자 급증
• 생산성 증가로 개인 생산성 및 거버넌스의 중요성 재확인
• 3대 chat GPT 사용 업무의 등장 – 데이터 기록 처리 업무, 기본 관리직, 기초 컨텐츠 제작
• 다양한 모델링 기법과 보조 플러그인들의 등장
• Chat GPT는 11월 초부터 음성 서비스를 개시
  • 프롬프트 보조 플러그인이 베타 버전 진행 중
• 2023년에 생성형 AI 관련 기술을 요구하는 채용 공고가 1,848% 급증
• 향후 5년 이내에 깃허브에 체크인 되는 모든 코드의 80%는 AI 보조

작게는 개인 문서 정리로부터 크게는 신규 온라인 서비스까지 AI가 영향을 미치지 않는 부분이 없습니다.

 

그렇지만 보안위협이 급증하고 있습니다.

 

2. AI보안위협의 공격 증가

 

AI의 보안위협은 아래와 같이 정리해볼 수 있습니다.

대표적인 보안 위협	주요 원인	가능한 보안 위협
잘못된 정보의 제공	AI의 편향된 정보 학습 최신 데이터 학습의 부족	고위험 의사결정 및 잘못된 의사결정의 유도
AI의 악용	적대적인 시스템 메시지를 활용하기	인물 도용 악성 코드 작성 대화형 서비스 커뮤니티 범죄 가짜 뉴스 만들기
유사 AI모델 서비스 빙자	유사 악성 서비스 접근 유도	가짜 어플의 등장
데이터 유출	데이터 합성 문제 AI모델의 훈련 데이터 암기 문제 대화 과정에서의 개인 정보 유출	기밀, 대화 내용 유출 DB 해킹 및 회원 추론 데이터 불법 처리
AI 플러그인 취약점	안정성 확인 미흡 취약점 서비스와의 연결	멀티모달 악용
API 취약점	API 키 관리 미흡	API키 탈취 악의적인 프롬프트 주입

AI의 보안위협

 

실제 공격 및 위협 사례들도 많이 늘었습니다.

• 2023년 3월 경 삼성전자 디바이스솔루션(DS·반도체) 부문 사업장 내 반도체 설비 계측, 수율·불량 데이터 유출 사례
• WormGPT 도입 이후, 비즈니스 이메일 공격이 현실화되었으며 가짜 이메일과 피싱이 더 정교해지고 자동화
• AI챗봇을 활용한 가짜 사이트의 등장

이러한 점에서 보안 전문가들은 신규 위협보다는 공격이 급증해서 대처가 어렵다는 점을 지적하고 있습니다.

 

즉, 기존의 공격 수단은 크게 변하지 않았습니다. 그렇지만 공격은 더 다양하고, 악성코드 은닉과 보안장비 우회로 고도화될 것이며, AI 도입에 따라 악성코드 생성 및 처리가 더 용이해졌습니다.

 

2023년 상반기 기준 주요 보안위협은 아래와 같았습니다.

• 오픈소스 취약점을 이용한 공격 증가
• APT 공격과 랜섬웨어 공격의 진화
• 글로벌 해킹 조직의 공격 증가
• ChatGPT 취약점
• 섀도우 IT
• 제로데이 취약점

이중에서 AI도입으로 인한 부분만 살펴본다면 아래와 같습니다.

• 사이버 공격 급증에 따른 시스템·웹 취약점을 악용한 정보 수집 및 침투 목적의 공격 시도
• ChatGPT 이용에 따라 내부 자료 유출경로가 다양화
• 공격 증가에 따라 보안장비의 오탐률 증가

3. 보안의 변화와 현실

 

즉, 기존의 방어 방법만으로는 이미 한계입니다.

2023년 보안 컨퍼런스 발표에 따르면 정적 보안 솔루션 및 기존의 통합보안관제는 이미 한계에 도달했으며, 그 원인으로는 숙련된 인재 부족, 과중한 부담, 평균 25개의 부적절한 개인 솔루션 사용 등이 꼽혔습니다. 더 큰 문제는 이 모든 문제를 아우르는 통합 솔루션이 부재하다는 현실입니다.

자동화된 통합관제

 

사이버 보안회사 트렐릭스의 팔마 CEO는 자동화와 인텔리전스로 보안운영 혁명을 주장했습니다.

• 실시간 관제는 기계, 분석관제는 사람이 맡아서
• 접수>분석>대응>완료 단계로 대응 시간 단축
• 공격 패킷 분석 후 초동분석한 결과를 바탕으로 관제 전문가가 검토 후 대응
• 위협 강도 탐지 및 알고리즘 예측으로 관제업무의 피로도 저하
• 차단 권고 IP와 CTI 정보, 실시간 차단 체계 기반 마련으로 관제팀에서는 더 이상 매일 수백개의 IP를 여러 보안장비에 수동 등록하는 단순 반복 작업이 개선

이미 위와 같은 개선사항 중 일부는 이미 업계에 적용되어 있습니다. 그렇지만 숙련된 인재 부족은 쉽게 해결될 기미가 보이지 않습니다. 전세계적으로 아직도 필요한 보안전문가 수는 300만에 달합니다.

 

4. AI와 적대적 공격

그렇다면 딥러닝에는 문제가 없을까요? 이 또한 위협을 내포하고 있으며 개중 심각한 문제로 인해 AI도입이 저지되는 산업들도 많이 있습니다. 자율주행 자동차가 그 예시입니다.

테슬라 원격주행의 방해 사례

 단순히 스티커를 붙인 것만으로도 학습 데이터의 가공, 알고리즘 선택, 학습 데이터 입력 등에 개입할 수 있다면 AI를 오판으로 유도하는 게 가능했던 예시입니다. 심지어 이는 2017년부터 가능했습니다.

 

이처럼 머신러닝 알고리즘에 내재하고 있는 취약점에 의해 적대적 환경에서 발생할 수 있는 보안 위험을 적대적 위협(Adversarial Attack)이라 합니다.

 

기존의 해킹은 유무선 네트워크나 시스템, 단말기 등 기존의 취약점을 이용하지만, 적대적 공격은 머신러닝 알고리즘이 내재하고 있는 취약점을 이용했다는 점에서 차이가 있으며, AI의 오판을 유도합니다.

머신러닝의 학습과 적대적 공격 종류

 

일반적으로 머신러닝은 다음과 같은 절차에 따라 학습합니다.

1. 데이터를 수집합니다.
2. 수집한 데이터를 AI학습을 위해 가공합니다.
3. 학습 데이터가 준비되면 적절한 머신러닝 알고리즘을 선택한 후 학습합니다.
4. 학습 완료 시, 테스트용 데이터를 입력해 기계가 추론한 결과가 테스트용 데이터의 실제 정답에 얼마나 가까운지를 측정해 모델의 성능을 테스트합니다.
5. 그 뒤 완성된 모델을 배포합니다.

그렇지만 이 모든 과정에는 공격이 개입할 수 있습니다. 위 적대적 공격의 4가지 유형이 그렇습니다.

 

4-1. 중독 공격(Poisoning Attack)

적대적 공격 유형 1. 중독 공격

 이름 그대로 머신러닝 모델을 망가뜨리는 중독 공격입니다. 단계로 보면 학습하는 데이터 자체를 부적절한 데이터를 계속해서 주고 이를 통해서 학습된 결과 자체가 망가지는 유형입니다.

ex) MS 인공지능 테이의 극우 발언 학습

 머신러닝 모델을 망가뜨리는 중모델 자체를 공격해서 모델에게 영향을 준다는 점에서 차별화독

모델 자체를 공격해서 모델에게 영향을 준다는 점에서 차별화가 되어 있으며 물리장비가 AI와 연동된 경우, 기계 자체를 오작동시킬 수도 있습니다.

악의적인 데이터를 최소한으로 주입해 모델의 성능을 크게 떨어뜨리는 것이 공격의 평가 기준입니다.

 

4-2. 회피 공격(Evasion Attack)

입력 데이터에 최소한의 변조를 가해 머신러닝을 속이는 공격입니다.

예를 들어 이미지 분류 머신러닝의 경우, 사람의 눈으로는 식별하기 어려운 방식으로 이미지를 변조합니다. 이 경우, 머신러닝 이미지 분류 모델은 사람과 달리 데이터에 기반해 평가하기 때문에 대상을 다른 것으로 착오를 일으킬 수 있습니다.

기계는 사람과 인식 방법이 다르다는 것을 이용한 수법이므로 사람은 이 오류의 원인을 식별하기 어렵습니다. 그렇지만 인식 기반 머신러닝 대다수에 알고리즘 오작동을 일으킬 위험이 있다는 점에서 위협적입니다.
보안 솔루션의 탐지 정책을 우회, 교통 신호를 교란 자율주행 차량의 오작동, 생체인식 시스템 우회 등 치명적 문제가 예상됩니다.

 

4-3. 전도 공격(Inversion Attack)

  다음은 전도 공격입니다. 이때 전도는 자리를 바꾸는 것, 도치, 뒤집기 등을 의미합니다. 

  전도공격은 머신러닝 모델에 수많은 쿼리를 던진 후, 산출된 결과값을 분석해 모델 학습을 위해 사용된 데이터를 추출하는 방법입니다. 이것이 가능한 이유는 머신러닝은 주어진 입력에 대한 분류 결과와 신뢰도를 함께 출력하기 때문입니다. 즉, 공격자는 결과를 기반으로 주입된 민감한 데이터를 복원할 수 있으며 이를 유출할 수 있습니다.

  이 사례에서는 학습에 사용된 데이터만으로도 실물 사진에 가깝게 재현하는데 성공했습니다. 즉, 이 남성의 사진 데이터가 유출된 것입니다.

 

4-4. 모델 추출 공격(Model Extraction Attack)Model extraction attack

전도 공격과 유사하지만 단계적으로는 배포된 단계를 공격하는 모델 추출 공격이 있습니다. 이는 전도공격과 마찬가지로 머신러닝 모델에 쿼리를 계속 던지면서 결과값을 분석하는 방식의 공격입니다.

해당 공격의 성공 예시로는 70초간 650번 쿼리로 유사 모델을 만드는 것이 가능하다고 알려져 있습니다. 또한 해당 공격은 유료 머신러닝 모델 서비스 탈취 혹은 Inversion attack, Evasion attack과 같은 2차 공격에 활용이 가능합니다.

 

4-5. 적대적 공격에 대한 대처방안

딥러닝과 유사한 현실 예시 : Clever Hans

  20세기 초에 숫자를 가리키면 같은 수의 발굽질을 들려주는 말이 독일에 있었습니다. 2*4를 가리킬 경우, 8번 발굽질을 하는 방식이었습니다. 그렇지만 말은 주인이 알려준 것만 보고 답을 유추해서 평소 기억한대로 발굽질을 한 것입니다.

  머신러닝도 이와 같습니다. 수의 처리, 추론 문제, 요약 등은 잘 해낼 수 있지만 새로운 개념은 고안할 수 없습니다.

적대적 공격에 따르면 머신러닝은 현실세계를 이해하고 학습한 것이 아닌 그저 사람이 보기에는 이해한 것처럼 ‘암기한 것’입니다. 기계학습 시스템은 사람이 직관적으로 이해할 수 없는 매개변수를 사용하여 실행되므로 블랙박스처럼 보이며, 작은 조작만으로도 신경망 결정에 큰 영향을 미칠 수 있습니다.
  그러므로 적대적 공격을 방어하기 위해서는 머신러닝 모델의 robustness, 성능 지표를 평가해야 합니다. 악의적인 정보 분포를 미리 가정하고, 이를 입력값에 투입하는 것으로 모델 성능 하락 여부를 평가해야 합니다.

 

이하는 적대적 공격을 방어하는 방법입니다.

• 적대적 훈련(Adversarial training)
  가능한 모든 적대적 사례를 학습 데이터에 포함해 머신러닝을 훈련시키는 방법입니다. 머신러닝을 훈련시키는 단계에서 예상 가능한 해킹된 데이터를 충분히 입력해 머신러닝의 저항성을 기르는 방식입니다.
  장점: 가장 간단하면서도 효과적. 실제로 여러 사례에 대해 가장 주목할만한 성능변화를 보여주었습니다.
  단점: 정작 원본 처리에 대한 정확도가 떨어지게 되며, 이는 딥러닝 기반 학습의 장애가 됩니다.
• 적대적 공격여부 사전 탐지
  원래의 모델과 별도로 적대적 공격 여부를 판단하기 위한 모델을 추가한 후, 두 모델의 추론 결과를 비교해 두 결과 간에 큰 차이가 발생하는 경우 적대적 공격으로 탐지하는 방식입니다.
• 쿼리 횟수 제한 방어
  모델에 반복적인 쿼리를 시도하는 Inversion attack이나 Model extraction attack을 방어하기 위해서 모델에 대한 쿼리 횟수를 제한하는 방식입니다.
• 기밀 정보 비식별 처리, 이미지 등 인식 모델 생성 과정에서의 사전 필터
  학습 데이터에 포함된 기밀정보, 민감정보가 노출되지 않도록 암호화 등의 비식별 처리 방식입니다
• 알고리즘의 지속적인 변경 및 업데이트
• 적대적 공격 및 방법 기법들의 오픈소스화 및 공유
  구글의 오픈소스 라이브러리 CleverHans가 그 대표적인 예시입니다.

가장 중요한 것은 잠재적인 위험을 인식하고, 교차확인이 가능한 시스템을 마련하는 것입니다.