奈良時代、聖武天皇の詔によって国ごとに設置された国分寺の一つ。一時廃れましたが、後に曹洞宗の禅寺として再興されました。

かつての国分寺は、金堂（本堂）をはじめ七重の塔、講堂、経堂など多くの建物や門がある大きな寺院でした。

近くには、同時期の国分尼寺（尼僧の寺）の跡や当時の国府と思われる遺構などが確認されており、奈良時代にはここが一つの中心地だったことがわかります。