4차 산업 혁명 시대에 인공지능은 IT 기업을 중심으로 기업들의 핵심 사업 전략이 되고 있다. 그리고 국내외 주요 포탈 기업들 또한, 인공지능 기반의 검색 서비스를 출시하고 있다. 인공지능 검색 서비스는 이미지·음성과 같은 비정형 데이터를 활용하며 검색 패러다임을 확장시켰다. 하지만 기존의 텍스트 기반의 검색 서비스와 다른 인터페이스를 제공한다. 익숙하지 않은 인터페이스는 서비스의 사용성을 저해할 수 있는 요소로, 인공지능 검색 서비스를 이용에 따른 사용성에 변화를 알아볼 필요가 있다. 본 연구는 네이버앱 8.9.3 베타버전을 사례로 인공지능 검색 서비스를 실험한다. 실험은 네이버앱 사용 경험이 있는 20대와 30대 30명을 대상으로, 네이버앱의 인공지능 검색 서비스인 스마트 렌즈, 스마트 보이스, 스마트 어라운드, AiRS 추천 콘텐츠의 사용성을 기존의 네이버앱 검색과 비교하여 평가한다. 실험분석 결과, 기존의 네이버앱 검색과 비교하여 통계적으로 유의미한 사용성 변화가 있는 것으로 나타났다. 스마트 렌즈, 스마트 보이스, 스마트 어라운드는 양(+)의 상관관계가, AiRS 추천 콘텐츠는 음(-)의 상관관계가 있었다. 본 연구는 인공지능 검색 서비스를 적용에 따른 사용성 변화를 평가하고 분석한 것으로, 추후 인공지능을 활용한 서비스의 사용성 평가 연구에 유용한 자료가 될 것으로 기대한다.