로봇이나 통신기기 등에서 멀티미디어가 융합되는 추세이다. 여러 모달리티를 잘 이해를 해야 성공적인 융합을할수있 다. 이 코스에서는 인식분야에서 중요한 위치를 차지하고 있는 음성인식과 영상인식을 종합적으로 가르친다. 이론뿐만 아 니라 실제로 프로그래밍을 할 수 있는 능력을 키우기 위해 음성에서는 SAPI/HTK를 이용하고 영상인식에서는 OpenCV를 이용한다. 두 번의 프로젝트를 통해 학생들은 음성과 영상의 융합 경험을 하게 될 것이다. 이 코스를 이수해서 이 분야의 비전문가인 학생들도 실제로 음성과 영상인식을 위한 프로그래밍을 할 수 있게 된다.