Mystiikkaan, esoteeriseen liikehdintään ja supranormaaliin maailmanymmärrykseen erikoistuneita kirjakokoelmien ja yksityiskirjastojen historia juontuu uuden ajan alkuun, oppineiden hylätessä tuolloin vallinneen skolastiikan, ja se huipentui valistuksena tunnettuun ajanjaksoon 1600-luvun lopulta 1700-luvun loppuun, jolloin uudet opit ja ideologiat levisivät merkittävien yliopistokaupunkien välillä. Suomeen vaikutteet virtasivatkin yleensä Turun kautta, johon perustettiin vuonna 1640 maamme ensimmäinen yliopisto Turun akatemia, jonka kirjastotoiminta periytyi vuonna 1276 perustetulta tuomiokirkkokoululta, Turun kymnaasilta.

Nämä murrokset mahdollisti kirjapainotaidon leviäminen, jonka ansiosta oppineet saattoivat levittää ajatuksiaan aiempaa laajemmalle ja syntyi kirjakokoelmia. Ensimmäisenä ajattelutapa alkoi muuttua lääketieteessä, jonka piirissä alettiin nojautumaan auktoriteettien sijaan kokemusperäiseen tietoon. Lääketieteen vallankumouksessa edelläkävijöitä olivat Paracelsus, Andreas Vesalius ja Michael Servetus, joka poltettiin roviolla julkaistuaan päätelmänsä. Tätä seurasi kopernikaanisen vallankumouksen käynnistyminen tähtitieteessä, jonka edustaja Giordano Bruno poltettiin roviolla vuonna 1600. Samaan aikaan katolisen kirkon sisällä nousi henkisiä liikkeitä ja sen kanonisoinnissa alettiin painottaa analyyttista tutkimusta; syntyi yliluonnollisen käsite eivätkä elämänkerralliset tiedot enää riittäneet vaan selittämättömien tapahtumien tuli läpäistä luotettavana pidetyt tutkimukset ennen kuin ne voitaisiin julistaa uskonnollisessa mielessä ihmeeksi.

1500-luvulla puolestaan Euroopan ylimystö näytti esimerkkiä kiinnostuksessa astrologiaan ja salatieteisiin hyödyntäen esimerkiksi John Deen, Michel de Nostredamen, Brigitta Andersdotterin sekä Edward Kelleyn palveluita. Uuden ajan alussa uusplatonismista vaikutteita saaneita esoteerisia oppeja ja rituaalimagiaa tietyssä määrin suvaittiin myös kirkollisissa piirissä, vaikka se vaati paljon tasapainottelua kiistanalaisuutensa vuoksi. Elettiin aikoja, jolloin esimerkiksi Suomessa työskennelleen katolisen kirkon munkin Johannes Paulin sallittiin käyttää vastamagiaa yhtenä eksorsismin välineenä, vaikka hän oli itsekin kerran lähellä joutua tuomituksi. Myöhemmin suomalainen Paracelsuksen seuraaja Sigfridus Aronus Forsius joutui vakavampaan selkkaukseen kirkon kanssa astrologian, kädestäennustamisen ja muiden salatieteiden harjoittamisen takia.

Suomeen varhain saapuneista alan kirjallisista virtauksista päällimmäiseksi nousee kuitenkin alkemistinen kirjallisuus. Alkemia oli tuohon maailmanaikaan osa akateemista valtavirtaa ja päätyi jopa osaksi 1600- ja 1700-lukujen akateemikkojen opintoja. Alkemian saavuttama asema heijastui aikansa sivistyneistön kirjakokoelmiin. Esimerkiksi 1700-luvulla Turun piispan Karl Fredrik Mennanderin omistama aikansa suurin yksityiskirjasto sisälsi huomattavia määriä alkemistista kirjallisuutta. Hänen jalanjäljillään alkemistisen kirjallisuuden keräilijänä toimi piispa Jakob Gadolin ja hänen pojastaan tuli myöhemmin merkittävin suomalaisen kemiantutkimuksen pioneeri. Heidän säilynyt sukukirjastonsa kuuluu nykyään UNESCO:n rekisteriin.

Mielenkiintoisena kirjallisena anekdoottina Suomen historiassa ovat myös Pohjanmaan mystikoiden julkaisut, jotka noin vuosina 1780–1830 Pohjanmaan seudun käsityöläiset, kirjurit ja talonpojat julkaisivat ja levittivät käsin kirjoitettuna suomenkielisenä aineistona, koska sensuuri kielsi maallisen ja hengellisen reformikirjallisuuden levittämisen, jollaiseksi Jakob Böhmen mystiikkaa koskeva kirjallisuus katsottiin. Nykyisin yli 16000 sivua ja 200 nimekettä käsittävää mystikkojen aineistokokoelmaa säilyttää Suomalaisen Kirjallisuuden Seura.

Noihin aikoihin myös Emanuel Swedenborgin tuotanto nousi merkittäväksi kirjallisuuden kenttään laajalti vaikuttavaksi tekijäksi. Swedenborg kiinnostui 1700-luvun jälkipuolella supranormaalista, transsendenssistä ja mystisistä kokemuksista taivaallisine näkyineen. Swedenborgilaisuuden vaikutteet alkoivat näkymään aikalaisten akateemisessa ja mystisessä tuotannossa, myös Suomessa. 1800-luvun alussa Ruotsissa, jonka osana Suomikin tuolloin oli, sai alkunsa Swedenborgilainen kirjasto.

Ensimmäinen nykyisen Suomen alueella toimiva rajatiedon kenttään kuuluva kirjasto perustettiin 1890-luvulla. Kyse on nykyisestä Teosofisen Seuran kirjastosta, joka kuvailee itseään perustellusti alan vanhimmaksi erikoiskirjastoksi Suomessa. Kirjastotoiminta sai alkunsa kesällä 1896 Anna Malmin ja prokuristi John Backmanin lähetettyä suomalaisille teosofeille kiertokirjeen, jossa ehdotettiin teosofisen kirjaston ja lukuhuoneen perustamista Helsinkiin.

15. syyskuuta 1896 hotelli Kämpissä kokoontuikin ehdotukseen tarttunut kymmenpäinen joukko teosofeja, joiden aloitteesta perustettiin Teosofiska Biblioteket i Helsingfors, johon kuului tuossa vaiheessa kolmisenkymmentä nidettä. Hankkeen rahoittamiseen osallistui noin 30 henkilöä ja kolmihenkisen toimikunnan toteuttamana 10. tammikuuta 1897 kirjasto avasi ovensa osoitteessa Uudenmaankatu 15.

Kirjastosta muodostui aikansa teosofisen toiminnan keskuspaikka ja avaamista seuraavana keväänä ylioppilaat Herbert Silander ja Pekka Ervast vuorottelivat lukuhuoneen luennoitsijoina. Kesäkuussa 1897 kirjasto siirtyi osoitteessa Mariankadun 12 sijainneeseen huoneistoon. Jo muutamaa vuotta myöhemmin alan kirjastotoiminta lähti laajenemaan muille paikkakunnille, ensimmäisenä vuonna 1900 Viipuriin. 1900-luvun alussa osoitteeseen Albertinkatu 34 muuttanut Teosofinen kirjasto oli jo laajentunut lähes tuhanteen niteeseen.