土佐藩士 由比光索と小野氏（駒）の長男として土佐国神田村高神に生まれた。
幼名を竹馬、弟に教育家の由比質がいる。
母を早くに亡くしその教育は祖母遊佐に担われた。
光衛は体こそ小さかったものの元来腕白で神田川で魚を釣っている時誤って釣り針が手深くに刺さった時などは自ら短刀で切り開き針を取り出して「さすが武士の子」と周囲を感心させた。
嫌不学舎を経て海南学校に学び、この頃には紺袴に下駄履きで英語の単語帳を手に道々大声で復習しながら往復して人々を驚かせた。

明治１０年 幼年学校、ついで陸軍士官学校（同期には渡邊湊がいる）を卒業し１５年 歩兵少尉に任官する。 この頃、三菱の大物 豊川良平は光衛の才気と所行に感銘を受け、その進言により岩崎弥太郎の一族 岩崎國太郎の妹 万寿を嫁がせた。 しかし、光衛はその後も三菱との繋がりも頼らず清貧を貫き結婚直後から債務取立などにより苦労をしたと云う。 ２１年より陸軍大学校で学び首席で卒業、恩賜の軍刀を賜り参謀の業務に服することとなった。 陸軍士官学校教官、大本営参謀を務め日清戦争には第２軍参謀として出征し大山巌の下働いた。 戦後イギリスに駐在し三国干渉あるや加藤高明全権大使とともに奔走、帰朝後の３３年 少佐の時に北清事変が起こり第５師団参謀として再び戦渦に身を投じ山口素臣師団長を支えた。

大尉時代の光衛

日露戦争が開戦となると奥第２軍参謀副長として出征し南山、得利寺、遼陽において敵をくじき、首山堡の戦いでは敵の目標にならず損害を防ぐため軍服の上にカーキの外被をつけて戦う事を発案し瞬く間に全軍に拡がりこれがカーキ軍服の始まりとなった。
奉天会戦には第８師団参謀長として参戦し戦功を立てた。
４１年３月 近衛歩兵第１連隊長に補し、たび重なる演習の都度慰労会を催したがその会費は全て自分の俸給で賄っており部下からの信頼も篤かった。
４２年５月 陸軍少将に進み第２７旅団長、４４年１０月 参謀本部第１部長を歴任。
大正３年 陸軍中将に昇り陸軍大学校長を拝命、４年１月 第１５師団長、６年８月 近衛師団長を歴任。
師団長時代には師団演習には最後まで野宿を重ね兵士と労苦を共にし幕僚を感激させた。

大正７年８月 シベリア出兵に浦塩派遣軍参謀長を務め、翌８年６月 青島守備軍司令官の時に遂に高知県初の陸軍大将に栄達した。
その後、１０年 に軍事参議官となり翌年予備役に編入された。
隠居後も光衛を惜しむ政府要人や将軍などが訪れ朝鮮或いは台湾総督として再出馬を要請したが病の為に再起できず大正１４年９月 喉頭疾患の為６６歳で逝去した。