兴建於清光绪27年(西元1901元)，当时日人统治台湾，积极消灭我国传统文化，当地有志之士遂建立玉衡宫作为掩护，开设象山汉学院，并奉祀孔子神位，西元1974年地方士绅倡议改建，将孔庙独立，象山孔庙位居高坡，远眺可见苗栗盆地的平畴绿野，视野辽阔，气势磅礴。