Der er steder i fortællingen om Hvideslægtens venderkrige, der leder tanken hen på, at Saxos far kunne være en Thorbjørn (Thorbern), der ligesom Hviderne Sune og Esbern omtales udenefter-navn, altså som en blandt Hvideslægten alment kendt person. Saxo kalder Thorbjørn ”en af de ypperste sjællandske riddere” og ved, at han efter at være ramt af en kastesten på et vendertogt ca. 1166 først fuldt ud genvandt sit helbred mange år efter (14. bog, s. 205) og athans kone opæggede kong Svend Eriksen Grathe i 1157 til at bryde forliget om tredelingen af riget (14. bog, s. 138). Stormanden Peder Thorstensen kunne så være Saxos farfar. Dette ville finde støtte i indledningen til værket, hvor Saxo fortæller, at både hans far (altså Thorbjørn) og hans bedstefar (altså Peder Thorstensen) havde tjent under Valdemar den Store. Saxos slægtsynes i så fald oprindeligt at have været knyttet til konger med magtbase på Sjælland som Erik Emune og hans søn Svend Eriksen Grathe. Efter dennes død sluttede de sig til Valdemar den Store, der bortset fra Asser Rig-familien mest havde magtbase i Jylland. Såfremt Thorbjørn er Saxos far og Peder Thorstensen hans farfar, gift med Asser Rigs søster Cecilia, er Saxo vel en fjern slægtning til Absalon. Også en Toke Signessøn omtales (i 14. bog, s. 124) som ”en mand,der udmærkede sig både ved ædel byrd og ved veltalenhed” og som var en af kong SvendEriksen Grathes mænd, der dæmpede et oprør i Skåne i 1140`rne, men som uretfærdigt faldt i kongens unåde. Han kunne være morfar til Saxo.