무한 매질에서의 파전파 현상은 공학과 자연과학의 여러 분야에서 다양한 물리적 현상을 서술하는데 활용되고 있고, 이 문제에 대한 해를 얻기 위하여 해석적 방법 또는 수치적 방법이 개발되어 사용되고 있다. 이 문제에 대한 정확한 해를 얻기 위해서는 무한 영역으로의 에너지 방사를 정확히 고려해야 하고, 이를 위해 다양한 수치적 또는 역학적 모형 또는 경계조건이 개발되었다. 이 연구에서는 층상 waveguide에서의 scalar wave 또는 SH파 전파 문제에 적용할 수 있는 새로운 경계조건을 제안하고자 한다. 이를 위해 waveguide 의 수직방향으로 유한요소 이산화를 적용하여 얻은 SH파의 지배방정식을 변형하여 waveguide의 무한 영역의 영향을 나타내는 경계조건을 유도한다. 층상 waveguide에서의 SH파에 대한 고유모드의 직교성을 이용하여, 새로운 경계조건은 기존의 root-finding absorbing boundary condition와 동등함을 보이고, 이로부터 새로운 경계조건의 차수가 증가할수록 정확성이 증가하고, 또한 이산화된 수준에서도 안정함을 유도할 수 있다. 제안된 경계조건을 층상 waveguide에서의 파전파 문제에 적용하여 그 정확성과 안정성을 검증한다.