아시카가 요시마사는 1460년 무렵에 은퇴 후에 살 저택과 정원을 만들 계획을 세웠다. 요시마사는 사후에 재산을 처분에 선종에 기증했다. 정식 명칭은 히가시야마지쇼지(東山慈照寺)이다. 절은 오늘날 임제종의 분파인 쇼코쿠지와 관계를 맺고 있다.
관음전은 절의 주요 구조물이다. 이것은 1482년 2월 21일에 건설되기 시작했다. 건설 계획은 요시마사의 할아버지 아시카가 요시미쓰가 세운 금으로 된 킨카쿠지를 모방하려 하였다. 주로 알려진 이름인 "긴가쿠지"는 본래 절의 외관을 은으로 덮으려 했던 계획에서 온 것이다. 그러나 친숙한 이 이름이 사용되기 시작한 것은 기껏해야 에도 시대부터이다.
오닌의 난 때 절의 건설은 중단되었다. 요시마사의 은으로 덮은 구조물은 건설하려던 계획은 오랫동안 연기되었고 요시마사가 죽기 전까지 결코 실현되지 못했다. 절의 현재의 모습은 요시마사가 마지막으로 보았던 모습과 같다고 여겨진다. 이러한 미완성된 모습은 와비 사비의 측면 중 하나로써 설명된다.
킨카쿠지처럼 긴카쿠지는 원래 쇼군의 휴양지로써 세워졌다. 쇼군으로써의 통치 기간에 아시카가 요시마사는 히가시야마 문화라 불리는 새로운 전통 문화를 고양시키려 했다. 오닌의 난이 악화되고 교토가 불탔기 때문에 요시마사는 은퇴를 위해 저택으로 이동한 후 누각에 걸터앉아 정원의 고요함과 아름다움을 감상했다.
1485년에 요시마사는 선종의 승려가 되었다. 1490년 1월 27일에 그가 사망한 후에 저택과 정원은 불교 사찰이 되었고 요시마사의 불교 이름인 지쇼지로 개칭되었다.
유명한 절의 또다른 특징은 이끼로 덮여있는 나무 바닥이다. 이 일본 정원은 위대한 풍경 예술가 소아미에 의해 설계되었을 것으로 생각된다. 긴가쿠지의 모래 정원은 특히 유명해졌고 후지 산을 상징하는 정성스럽게 쌓아올린 모래 더미는 정원의 필수적인 요소이다.
2008년 2월부터 긴가쿠지는 광범위한 복원 공사가 진행되고 있고 절의 외관은 가로막혀 잘 보이지 않으나 절의 정원은 복구 계획 기간 중에도 대중들에게 개방되고 있다.
