[AWS re:Invent 2020] 서버리스 기반 인공지능 서비스를 이용한 무인 스마트 매장 구현하기

이 글은 AWS re:Invent 행사의 한국어 세션에서 "서버리스 기반 인공 지능 서비스를 이용한 무인 스마트 매장 구현하기" 라는 제목으로 현대 IT&E 김석훈 상무님이 하신 발표를 간략히 정리한 글이다.

 

 

 

 

 

1. 리테일 산업에서의 DT trend

DT (Digital Transformation)
: 디지털 트랜스포메이션은 디지털 기술의 급격한 발전으로 인한 기업과 업계 전반의 발전 과정을 설명하는 방식이다.

 

DT가 최근 많은 기업의 핵심 키워드가 됨에 따라서 리테일 산업에서의 DT 트렌드로는 총 다섯가지를 들 수 있다.

• Data & Personalization
• Automation & Robotic
• Super smart consumer
• Super smart Device
• Emergence of new shopping platform

 

 

 

오프라인 리테일에서의 발전

오프라인 리테일은 캐시 레지스터 → POS → 인스토어 픽업의 순서로 발전했다.
변화하는 시장과 점점 스마트해지는 소비자 사이에서 Amazon의 끊임없는 고민 결과는 무인매장(Amazon GO)이었다.

 

 

 

왜 무인매장일까?

그렇다면 많은 선택지중에 왜 무인매장에 집중할까?
무인매장에서 기대하는 것들은 다음과 같았다.

• 브랜드 차별화
• 한번에 더 많은 거래량 처리
• 재고관리의 효율성
• 데이터 & 분석
• 비대면에 대한 니즈

미국 월마트의 경우에도 코로나-19의 확산이 심해지면서 예방을 위해 무인 스토어를 개장했다.

 

 

 

 

 

 

2. 현대백화점의 디지털 전환 사례

현대백화점은 2018년 SCA체결 이후, AWS와 디지털 전환 여정을 함께 진행했다.

 

 

1. Amazon의 디지털 혁신 전략 및 문화를 지속적으로 공유

 

2. Amazon Redshift 사용

Columnar 기반의 스토리지와 높은 데이터 압축률을 가진 Redshift는 빠른 성능 보장은 물론, 완전 관리형 서비스로 운영 업무를 최소화했다. 또한 실시간 마케팅을 비롯하여 시나리오, 위치기반 등 기존 마케팅 시스템과 유연한 연계가 가능했으며 고객을 세세하게 이해하고 고객 맞춤 정보를 제공했다.

 

 

3. 미래형 유통 매장 'SMART STORE'

SMART STORE는 '고객의 시간과 경험을 점유하는 공간' 이라는 컨셉으로 만들어졌으며, 이번 연구는 현대백화점 연구 조직인 Retailtech LAB과 AWS가 공동 연구를 진행했다.

SMART STORE 매장을 열기까지 다음과 같은 단계로 구성되어있다.

Retailtech LAB의 역할

1. 비즈니스 로직 구성 / 주요 기술 개발
2. 상품 인식을 위한 이미지 인식 기술관련 시도, 다양한 센서 정보 활용방안 고려 / 온프레미스 환경에서 테스트
3. 온프레미스 환경을 클라우드 환경으로 migration, 테스트 매장 오픈
4. 현재는 비용 최적화 및 정확도 향상을 위한 노력

Retailtech LAB과 AWS Prototyping team의 협업

1. 이미지 처리와 아키텍쳐 설계
2. 온프레미스에서 클라우드로 migration 및 머신러닝 파이프라인 구축, 아키텍쳐 고도화
3. 현재는 머신러닝 고도화 및 보안 강화를 위한 노력

 

 

가장 큰 고민거리

Who bought what?
누가 무엇을 샀는지 기술적으로 정확하게 아는 것이 중요했다. 

 

1. '누가 뭘 샀을까?' 에서 '누구'를 식별하는 것

이 단계에서 키포인트는 고객의 입장부터 퇴장까지의 여정을 정확하게 시간 순서대로 데이터화 하는 것이다. 얼마나 자세히 여정을 기록해야 하는지와 매장 내에 여러 카메라를 어떻게 동일한 시간대로 수집할 것인지에 대해 해결하는 과정이 난관이었다. 영상 정보를 DB에 쌓아보고 RTSP를 통해 데이터 수집도 했으나, 대용량 프레임을 위해서는 고사양의 시스템이 필요했다.

이는 Amazon Kinesis Video Streams와 Amazon Kinesis Data Streams 로 해결할 수 있었다. 영상정보를 Kinesis Video Streams에 수집하고, 타임스탬프를 맞추는 작업을 진행했다. 이렇게 생성된 데이터는 Kinesis Data Streams와 또 다른 task를 거쳐 DynamoDB에 저장하도록 아키텍쳐를 구성했다.

 

 

2. '누가 뭘 샀을까?' 에서 '무엇'을 식별하는 것

매장 내 상품들의 이벤트를 기록하는 단계이다. 고객이 어떤 물건을 들고 내려놓았는지, 몇개를 집었는지를 모두 기록한다. Amazon Kinesis Video Streams와 Amazon Kinesis Data Streams를 사용하여 DynamoDB에 저장했고, 센서에서 나오는 데이터 또한 API Gateway와 AWS Lambda 서비스를 이용하여 DynamoDB에 저장했다.

매장에서 발생하는 대용량 스트리밍 데이터는 비정형 데이터가 주를 이루기 때문에, 전통적인 RDB 방식으로는 쉽지 않다. 또한 대용량 데이터를 시간 순서대로 정렬하고 통합하여 분석하기 위해서는 초당 15프레임 이상의 속도가 보장되는 빠른 성능이 필요한데, 여기에서는 DynamoDB가 비정형 데이터를 처리하는데 적합했다. 또한 DynamoDB의 DAX 기능을 통해 더욱 신속한 응답속도로 처리할 수 있었다.

 

 

 

3. 매장 내 다양한 기기들은 어떻게 관리할 수 있었나?
AWS IoT Core를 이용하여 카메라나 센서 등 매장 내 다양한 디바이스를 관리했고, 별도의 인프라 없이 다른 AWS 서비스와 연동할 수 있었다. 또한 카메라나 센서의 추가에 따라서 별도의 작업 없이 유연하게 확장이 가능했다.

 

---

 

SMART STORE 운영에 있어 핵심 포인트는 Machine Learning

매장 내 많은 데이터가 발생하기 때문에 이를 라벨링하고 학습하는데에도 많은 시간이 소요된다.
SageMaker Ground Truth는 수집된 데이터에 대한 라벨링 처리를 쉽고 빠르게 처리하는데 적합했고, 이렇게 라벨링한 데이터는 AWS Step Functions를 통해 학습을 자동화 할 수 있었다. 이런 과정에서 생성된 모델은 계속 학습해서 정확도를 향상시켰다.

 

 

결과적으로 고객과 상품에 대해 학습한 머신러닝을 기반으로 '누가 뭘 샀을까'를 판단해서 고객에게 빠른 시간 내에 결제하는 것이 마지막 단계이다. DynamoDB에 저장해놓았던 데이터를 기반으로 매장 내 이벤트가 발생하면 이벤트를 발생시킨 고객을 찾고, 고객의 행동을 분석한다. 최종적으로 Sagemaker를 통해 누가 뭘 샀을까를 종합적으로 판단한 후에 고객이 어떤 물건을 샀는지 기록하고, 퇴장할때 자동으로 연결된 카드에서 결제가 된다.

 

 

 

 

SMART STORE 구축에 활용된 다양한 서비스

 

 

이렇게 다양한 서비스들이 SMART STORE 구축에 활용되었다.
예를 들어 AWS CDK는 구현된 프로그램들을 시점별, 기능별로 필요한 부분만을 개발하여 통합하는데 유용했다. 이는 변경사항을 빠르고 쉽게 배포하고 검증하는데 매우 효과적이었다. AWS Cloud9의 경우에는 시뮬레이션 가상 환경을 구축하여 스트레스 테스트 등을 수행하는데 사용되었다. AWS Step Functions는 고객과 상품에 대한 데이터를 시간순으로 처리하는데 있어 차례대로 배열 및 정렬 처리를 지원함으로써 원하는 기능을 구현하는데 도움이 되었다.
AWS Gateway와 AWS Lambda 등 각종 서버리스 서비스를 활용하여 마이크로 서비스 아키텍쳐로 agile하게 개발을 진행할 수 있었다. 또한 Code Commit, Code Pipeline 등 CI/CD용 서비스를 통해 애플리케이션 구성요소를 신속하고 자동화된 방식으로 배포할 수 있었다.

 

결론적으로 마이크로서비스 아키텍쳐, 서버리스 운영 모델, Agile 개발 프로세스의 조합으로 구축된 모던 애플리케이션을 활용함으로써 신속하게 개발을 진행하고, 동시에 불필요한 비용과 이용 요소를 줄일 수 있었다.

 

 

 

 

 

 

 

다시 한번 말하지만, 이 글에 사용된 주제와 사진들은 모두 AWS re:Invent 행사의 한국어 세션에서 "서버리스 기반 인공 지능 서비스를 이용한 무인 스마트 매장 구현하기" 라는 제목으로 AWS 매니저 지정아님과 현대 IT&E 김석훈 상무님이 하신 발표를 간략히 정리한 글이다.