古来、インドやインドシナ半島より仏教とともに香が伝来し、その香を日本では衣類に焚き込めたり、香道という高貴な身分の者のたしなみとして、雅な遊び、文化として発達させてきた。香木は大変高価なもので、宝石にも匹敵するものであった。その香木が北大渕にあり、またそのひこばえが下藤木（あんめん寺境内・旧藤木公民館）に今より約５００年前の永正年代には移植されたと思われる。江戸時代この香木の存在が藩主の耳に届き、藩主から宮中の霊元法皇（東山天皇時代）に献上された。

香道をたしなまれる法皇は、日本にはないものと思われていた香木が存在したことに驚かれ、感嘆され、古歌に因んで「光遠木」と命名され、元禄三年（１６９０）勅命を賜ったのである。寛政二年（１７９０）光遠木の碑を石に建て替える。轟のものも同時期に石に建て替えられる。文政十一年（１８２８）８月９日、大風で吹き倒される。文久二年（１８６２）藤木光遠木の勅額を御門の命により筥の中に奉納したと言われる。さらに慶応二年（１８６６）藤木光遠木（二代目）大渕村平野名より同種のひこばえをこぎとり移植する。明治三十三年（１９００）５月５日、東宮殿下（大正天皇）の御慶事御成婚に下藤木の光遠木を献上している。

平成になり上横山へのバイパス、桜トンネル道路建設に伴い藤木公民館の解体とともに光遠木も伐採され、あんめん寺跡とともに消失した。伐採した光遠木は、一部を置物として現公民館に保存している。