當(dāng)時(shí)楊義臣年幼，有官無職，被隋文帝收養(yǎng)在宮中，以衛(wèi)士身份宿守宮廷。

其間，隋文帝不斷對他進(jìn)行賞賜，除賜姓楊外，還將他的名字編入皇家宗譜，作為自己的從孫對待。

楊義臣生性謹(jǐn)慎忠厚，善騎射，有將領(lǐng)之才，因此楊堅(jiān)很器重他。

開皇十九年突厥達(dá)頭可汗進(jìn)犯邊塞，楊義臣以行軍總管身份，率領(lǐng)步兵、騎兵三萬人馬，出白道，與突厥軍相遇，交戰(zhàn)，大破突厥。