北上川の流域は南北に細長い長方形に近く、その東西に2つの山地が連なっています。東の北上山地は、中央部から周辺部へ向けてなだらかな勾配を示し、西の奥羽山脈は概ね急峻で、標高1,500m〜2,000mの高峰には岩手山、八幡平、駒ケ岳、焼石山、栗駒山などの火山があるのが特徴です。
　これらの山地から多くの支川が北上川本川に流れ込んでおり、特に奥羽山脈から流れでる支川の平野部では、扇状地が作られています。これにより、北上川が東側に押された形になっています。また、岩手県南部の一関市狐禅寺から下流28kmの区間は、両岸に150〜200m程度の低山が迫り、川幅は狭いところで100m程度の狭窄部となっています。この狭窄部が一関市に水害をもたらす最大の要因になっています。
　流域の下流部には、広大な沖積平野が発達しています。ここは高低差がほとんどない平坦な土地で、かつては低湿地帯でした。平野の西方には旧北上川の支川迫川、江合川による扇状地が発達しています。
　このような地形条件の下で、北上川の周りの土地利用は山地や田畑、牧場の面積が75％を占めており、市街地はわずか3％弱と少なく肥沃な土地と緑に恵まれた自然と人々の生活が共に歩んできた北上川らしい姿が広がっています。

　北上川の東側は、大部分が古生層(こせいそう)という古い地層で、花崗岩(かこうがん)や蛇紋岩(じゃもんがん)と呼ばれる岩石からなります。
　北上川の西側は、火山性の山地で標高が高く、山は急峻(きゅうしゅん)です。流紋岩(りゅうもんがん)、安山岩(あんざんがん)、石英安山岩(せきえいあんざんがん)などの火山岩類でできています。また、支川の源流部は急流で深い谷を形成しています。八幡平は日本有数の硫黄の鉱床がある地帯で、火山岩や火山破屑物（かざんはさいぶつ）などからできています。これらの山岳地帯には、銅・鉄鉱などが多く、鉱山開発の歴史が残っています。
　北上盆地は、大部分が河岸段丘の堆積層、扇状地の堆積層、沖積層といった、川が運んできた堆積物からなっています。
　こうした地質や地質構造は、地形だけなく、地下資源、火山、温泉の分布、気象、植生、さらに私たちの歴史、土地利用、自然災害などとも密接な関連を持っています。