平安時代、国見山にお寺が置かれたのは、国見山廃寺から南9kmほど離れた場所にある胆沢城と深い関わりがありました。胆沢城は、征夷大将軍坂上田村麻呂が、この地域の蝦夷（エミシ）と戦った際に造った国の役所です。その後、胆沢城は整備が進み、中央政府の出先機関として、国家鎮護の仏教儀式が盛大に行われるようになり大勢の僧侶が参加しました。約1150年前、その僧侶のための山林修行（人里離れた山中などに籠る修行）の場として国見山廃寺が開かれたのです。ただし、その頃は山林修行が目的で、小さな本堂があるだけの山寺でした。

小さな山寺であった国見山廃寺が、1050年ほど前に、五重塔など多くの堂塔を有する一大寺院に変貌します。その規模は、北東北で最大級のものとなり、まさに仏教の一大聖地といった様相を呈しました。この頃、奥六郡と呼ばれた北上盆地は、蝦夷出身で胆沢城の役人であったとも考えられている安倍氏が支配するようになっていました。この安倍氏が国見山廃寺を大きくしたと考えられます。

安倍氏は、前九年合戦により源氏と秋田県の豪族清原氏に滅ぼされます。その戦いの中、国見山廃寺の本堂も焼け落ちたようです。しかし、北東北全体を治め、鎮守府将軍にも任じられた清原氏により、さらに大きな本堂が再建されたのでした。清原氏は、国見山廃寺と合わせて、その北にかってない巨大なお堂を持つお寺（白山廃寺）を建立し、その権力を誇示しました。

後三年合戦により清原氏が滅ぶと、その戦いに生き残った清衡は政治の中心を平泉に移し、奥州藤原三代の栄華の礎を築きます。
その12世紀前半、平泉に中尊寺が完成する頃には、国見山廃寺の数多くの堂塔は殆ど無くなり、ただの鬱蒼とした山となっていきました。

それから数百年の時が過ぎ、天明8年（1788）、紀行家・菅江真澄がこの地方を訪れた際に国見山を訪れており、山頂の大岩である戸木の峰（とこのみね）の大悲閣で地元の老人に次のような話を聞いています。

「ごらんなさい、あちらの木々のなかには、むかしは金福山定楽寺といった大寺があって、あらゆる寺の頭であった旧跡です。」

この時代には既に国見山廃寺はあとかたも無くなってしまっていましたが、伝承の中にはしっかりと息づいていたようです。

そして現在、数次にわたる発掘調査の結果、国見山廃寺は平安時代中期の東北北部において最大の寺院跡であることが確認されています。

まさにここ、国見山が平泉以前のこの地方一帯の仏教の中心であったことが次第に明らかになってきています。