4차 산업 혁명 시대에 인공지능은 IT 기업을 중심으로 기업들의 핵심 사업 전략이 되고 있다. 그리고 국내외 주요 포탈 기업들 또한, 인공지능 기반의 검색 서비스를 출시하고 있다. 인공지능 검색 서비스는 이미지·음성과 같은 비정형 데이터를 활용하며 검색 패러다임을 확장시켰다. 하지만 기존의 텍스트 기반의 검색 서비스와 다른 인터페이스를 제공한다. 익숙하지 않은 인터페이스는 서비스의 사용성을 저해할 수 있는 요소로, 인공지능 검색 서비스를 이용에 따른 사용성에 변화를 알아볼 필요가 있다. 본 연구는 네이버앱 8.9.3 베타버전을 사례로 인공지능 검색 서비스를 실험한다. 실험은 네이버앱 사용 경험이 있는 20대와 30대 30명을 대상으로, 네이버앱의 인공지능 검색 서비스인 스마트 렌즈, 스마트 보이스, 스마트 어라운드, AiRS 추천 콘텐츠의 사용성을 기존의 네이버앱 검색과 비교하여 평가한다. 실험분석 결과, 기존의 네이버앱 검색과 비교하여 통계적으로 유의미한 사용성 변화가 있는 것으로 나타났다. 스마트 렌즈, 스마트 보이스, 스마트 어라운드는 양(+)의 상관관계가, AiRS 추천 콘텐츠는 음(-)의 상관관계가 있었다. 본 연구는 인공지능 검색 서비스를 적용에 따른 사용성 변화를 평가하고 분석한 것으로, 추후 인공지능을 활용한 서비스의 사용성 평가 연구에 유용한 자료가 될 것으로 기대한다.

In the era of the 4th Industrial Revolution, artificial intelligence (AI) has become one of the core technologies in terms of the business strategy among information technology companies. Both international and domestic major portal companies are launching AI search services. These AI search services utilize voice, images, and other unstructured data to provide different experiences from existing text-based search services. An unfamiliar experience is a factor that can hinder the usability of the service. Therefore, the usability testing of the AI search services is necessary. This study examines the usability of the AI search service on the Naver App 8.9.3 beta version by comparing it with the search services of the current Naver App and targets 30 people in their 20s and 30s, who have experience using Naver apps. The usability of Smart Lens, Smart Voice, Smart Around, and AiRS, which are the Naver App beta versions of their artificial intelligence search service, is evaluated and statistically significant usability changes are revealed. Smart Lens, Smart Voice, and Smart Around exhibited positive changes, whereas AiRS exhibited negative changes in terms of usability. This study evaluates the change in usability according to the application of the artificial intelligence search services and investigates the correlation between the evaluation factors. The obtained data are expected to be useful for the usability evaluation of services that use AI.

Abstract
요 약
1. 서론
2. 이론적 배경
    2.1. 인공지능과 검색
    2.2. 사용성 평가
3. 실험 대상 및 방법
    3.1. 실험 대상 정의
    3.2. 실험 대상자 선정
    3.3. 사용성 평가 설계
    3.4. 실험 프로세스 설계
    3.5. 결과 분석
4. 실험 분석 결과
    4.1. 실험 대상자의 인구통계학적 특성
    4.2. 인공지능 검색 서비스 이용에 따른 사용성 변화
    4.3. 사용성 평가 요소별 변화
5. 결론 및 제언
REFERENCES

• 황신희(연세대학교 디자인인텔리전스) | Shin Hee Hwang
• 주다영(연세대학교 글로벌융합기술원) | Da Young Ju 교신저자