總圖書館是由紐約市Pei Cobb Freed & Partners公司的James Ingo Freed 和舊金山市 Simon Martin-Vegue Winkelstein & Moris公司的Cathy Simon 聯合設計，于一九九六年四月十八日開始啟用。
資金來源於：一億零四百五十萬的債卷和二千二百萬的捐款，總圖書館建成是三藩市歷史上最大的公立和私人合作的項目。白色大理石外觀所用的大理石是來自于同市府中心其他建築物的同一個石礦，並且保持了Beaux的藝術建築風格。面對Grove和Hyde大街的外觀比較具有現代風格，很好地配合了Market大街的商業氣息。
總面積為三十七萬伍仟平方英尺，總圖書館的實用面積是先前位於現在亞洲藝術博物館的舊館的兩倍。館內，通過天窗自然光線從上至下照亮整個高達五層樓的中央大廳，天井由橋樑連接，四層樓高的壯觀樓梯旁邊有一座由藝術家Nayland Blake設計的牆壁，牆壁上裝置了超過一百盞的燈泡，每一盞燈的燈罩都印有一名作家的名字。另一個有三層樓高的內牆壁是由Ann Chamberlain 和Ann Hamilton設計，這個牆壁用多達五萬張舊的圖書館目錄卡片點綴，還有一個在三樓James C. Hormel同性戀中心由Mark Evans和Charley Brown創作的壁畫，在五樓有兩件由藝術家Alice Aycock創作藝術作品和一個被吊置在屋頂的隨同藝術品。
由一個敞開式的中央和設置在每個角落較小的房間構成了一個獨特的設計，既雄偉壯觀又使人感到溫暖而沒有距離感。這些房間代表了三藩市市多元化的社區和不同的興趣。其中在三樓有美國非洲裔中心、中華文化中心、James C. Hormel同性戀中心，四樓有Steve Silver Beach Blanket Babylon 音樂中心，五樓有Wallace E. Stegner環境保護中心，六樓有Marjorie G. & Carl W. Stern 的書本藝術和特別收藏中心。
每一個中心的內部設計都是由印花的硬木地板、部局的毛地毯和軟墊椅子構成。專門為圖書館設計的牆壁書櫃系統由美國梧桐、飄柔的楓木、雕花木和櫻桃木等組成都給整個圖書館內部一種溫暖而古典的感覺，相對的每個房間的屋頂都有一個不鏽鋼的圓盤作為平衡，同時還起到採光和空氣擴散的作用。
總圖書館是美國第一個公共建築物在設計時將空氣質量作為一個設計標準。其機械系統保證有充分的空氣流通。所有的材料如地毯、油漆等都選擇使用最低有害釋放氣體的資料。
創新的抗震設計可以使總圖書館的抗震性能高達八點三級。整個建築物的根基包括了由一百四十二個隔震基塊，這些隔震基塊由橡皮夾在不鏽鋼之間，用鉛材料使之變硬以便用來吸收震動。在地震的搖晃過程中，在整個建築物周圍有十八英寸的間隙， 這個間隙使得整個建築物可以脫離地面獨立地移動。