Hrad dal postaviť v 13. storočí kráľ Belo IV. na ochranu uhorských hraníc po vpáde Tatárov.
Prvá písomná zmienka o hrade je z roku 1316, keď hrad vlastnil Matúš Čák Trenčiansky.
Po jeho smrti hrad menil svojich majiteľov. V roku 1458 kráľ Matej Korvín daroval hrad a panstvo Ladislavovi Podmanickému za odmenu, že prispel k jeho zvoleniu za uhorského kráľa. Z tohto rodu Podmanických sú aj neslávne známy bratia, lúpežný rytieri Ján a Rafael Podmanický. tí boli známi po celom Uhorsku svojimi lúpežnými výpadmi. Král Ferdinand v roku 1529 proti nim vysiela generála Jána Katzainera, jeho úlohou bolo dobyť Považský hrad, výprava sa však skončila neúspešne. V roku 1543 hrad zachvátil požiar.
Od roku 1571 pripadol Považský hrad Ondrejovi Balašovi, hlavnému kráľovskému komorníkovi a novohradskému županovi. Rodu Balašovcov patrí panstvo až do roku 1860. Syn Ondreja , Imrich dal pod hradom postaviť kaštieľ Burg v roku 1631 a hrad opustil. Burg prešiel v roku 2012 komplexnou rekonštrukciou a je v súkromnom vlastníctve.
Imrich sa zaplietol do Vešeléniho povstania, a hrad slúžil ako jeho útočište, preto hrad v roku 1671 dobýjala a poškodila cisárska armáda. V roku 1681 sa iný člen rodu Adam Balaša zapája do Tököliho povstania, v roku 1684 hrad obliehajú cisárske vojská Leopolda I. Habsburského a ťažko ho poškodia. Ku konfiškácii jeho majetkov došlo v roku 1689. Aby sa hrad nestal sídlom povstalcov tak ho cisárske vojská zničili v roku 1698.
Od roku 1701 vlastní hrad Gabriel Balaša a o majetok delí s barónom Petrom Sapárim, ktorý časť majetku dostáva od kráľa Leopolda I. Habsburského za svoje zásluhy. Jeho syn Peter majetky týchto dvoch rodov spojí svojím sobášom s dcérou Gabriela Balašu, Teréziou v roku 1712. Sapáriovci spoločne s Balašovcami hrad vlastnili až do roku 1830.
V roku 1740 panstvo opúšťa hrad nadobro a z hradu sa stáva ruina
Od roku 2008 o obnovu a konzerváciu hradného komplexu sa stará Združenie hradu Bystrica.
Výstup na Považský hrad je z obce Považské Podhradie, kde od kostola sv. Ladislava na hrad vedie žlté turistické značenie. Neďaleko kostola sa nachádza malé odstavné parkovisko.
Cesta vedie okolo kaštieľa Burg a ďalej lesnou cestou.
Po krátkom úseku sa odpojíme zo žlto značeného chodníka smerom k hradu. Už je to len krátky, ale prudšie stúpajúci úsek a hrad je na dohľad.
Vstup do hradu je cez renesančný barbakan. Hrad pozostával z obranných veží, hospodárskych budov, paláca a tiež z hradnej kaplnky kde sú umiestnené fotografie zo záchranných prác na jednotlivých častiach hradu.
Výhľady z hradu na Považie, rieka Váh, Bytčianska dolina a kopce navôkol.
Trasa na hrad je nenáročná, v dĺžke približne jeden kilometer a túto krátku vychádzku môžeme spestriť ďalšími aktivitami v okolí.
Tak ako o každom hrade, tak aj o hrade Bystrica koluje povesť:
Povesť o krásnej Hedvige
Za panovania kráľa Mateja najobľúbenejším rytierom na Slovensku bol Blažej z Podmanína. Okrem Budatína mal v moci všetky považské hrady a vládol na nich železnou rukou. Od poddaných vydieral neslýchané dane a keď poddaní nevládali splácať, bral si žiadané nasilu. I sám kráľ sa pokúsil niekoľko krát skrotiť tohto spupného hradného pána, ale sa mu to nepodarilo.
Po jeho smrti zdedili majetky jeho dvaja vnukovia: Ján a Rafael, ktorý sa tak ako on, usadili na Považskom hrade. Ponášali sa navlas na svojho starého otca, ba boli ešte násilnejší ako on. Často podnikali do okolia lúpežné výpravy a vracali sa vždy s bohatou korisťou. Žili si oni pritom veselo a samopašne. Nedbali na nárek, plač, ktorý sa za nimi po okolí rozliehal. Plienili a zabíjali ďalej.
Chodievali na výpravy vždy spoločne, ale raz Ján povedal Rafaelovi: „Myslím, že sme už dosť silní, otužilí a starí. Mohli by sme pri najbližšej výprave skúsiť ísť každý osobitne. Ja zbehnem s jednou časťou vojska na Moravu, ty zaskoč do Sliezska.“ Rafael sa zamyslel a váhal. „ No ja sa ti divím, veď si už chlap na mieste, nemôžeš sa predsa vždy držať chvosta môjho koňa ako dieťa maminej sukne. Si znamenitý bojovník, a ako viem, aj smelý chlapík.“
Rafaelovi sa zapáčili slová staršieho brata a privolil. Stisli si ruky a a o niekoľko dní rozdeliac si svoje vojsko na rovnaké časti, pobral sa každý svojou stranou. Rafael pochodoval cez Jablunkovský priesmyk do Sliezska. Cestou stretli koč. V koči sedel starý šľachtic a jeho dcéra, veľká krásavica. Rafael uchvátený mocnou túžbou po dievčine zoskočil z koňa a pristúpil ku koču. Vojaci poskákali z koní, šľachtica a jeho sprievod poviazali a pohádzali všetkých do potoka. Rafael schytil krásku , posadil ju k sebe do koča a vydal rozkaz, aby sa vrátili na hrad.
Dievčina bola jedinou dcérou poľského šľachtica, ktorý ležal zakrvavený v jarku a zápasil so smrťou. Na hrade vyznal Rafael krásavici lásku. Ona ju neopätovala. Rafael mal stále pred očami obraz krásnej Poľky, ktorá ho odmietala. Na bujarej hostine brat Ján, ktorý sa vrátil zo zbojov, Rafaela vysmial. Keď ju však v jednej komnate uvidel, tiež ho okúzlila a on sa do nej zamiloval.
Onej noci vyrástla medzi bratmi nenávisť. Dosiaľ nažívali spolu v zhode, láske a naraz toto. Kedysi milujúci sa bratia, siahali si teraz na život. Láska uchvátila oboch, ale krásna Poľka bola odmietavá tak k Rafaelovi, ako aj k Jánovi.
Nepriateľstvo pre krásnu dievčinu zmierila len správa, že pán hradu Budatín odišiel ku kráľovi a Budatín sa stal slabo stráženým. Na čele ozbrojenej čaty, vybrali sa obaja pod jeho hradby.
Medzitým sa na Považskom hrade udiali divné veci. Zraneného poľského šľachtica, otca krásnej Poľky uväznenej na hrade, našiel sedliak a vyliečil ho. Ten potom zverboval väčšiu časť poddaných a napadol s nimi hrad, ktorý bol vtedy bez svojich pánov. Sedliaci bojovali proti strážcom statočne, a aj ho dobili. Otec vyslobodil svoju dcéru a na čele natešených sedliakov ušiel zo sídla hriechu a zloby.
Keď sa bratia vrátili od Budatína, ich prekvapenie bolo veľké. Hrad bol v plameňoch. Stáli zdesený pod obhorenými múrmi. Všetky ich podlé činy vyšli najavo, a oni museli prosiť kráľa o milosť. Kráľ ich omilostil, ba udelil im aj privilégiá. Ján a Rafael Podmanický sa po tejto skúsenosti polepšili. Stali sa vernými služobníkmi kráľovými až do smrti.
Z nich pochádza rodina Podmanickovcov, ktorá sa nejeden raz preslávila vo vojnách a spoločenskom živote.
Keď sa bratia vrátili od Budatína, ich prekvapenie bolo veľké. Hrad bol v plameň
