Μετά τη μικρασιατική καταστροφή οι πρόσφυγες, κατά την εγκατάστασή τους στη Βόρειο Ελλάδα, αναγκάστηκαν να αντιμετωπίσουν τη δυσπιστία και την αρνητική στάση των ντόπιων κατοίκων απέναντί τους, που δικαιολογημένα ή μη οφείλονταν σε λόγους πολιτικούς, οικονομικούς, κοινωνικούς και πολιτιστικούς. Πάλεψαν με το φόβο των ντόπιων απέναντί τους, γιατί τους θεωρούσαν ξένους, με τον ανταγωνισμό μεταξύ τους, σε μια Ελλάδα που βρισκόταν ήδη σε δεινή οικονομική κατάσταση, με την περιφρόνησή τους απέναντι στο νέο πληθυσμό, εξαιτίας της γλώσσας και των συνηθειών τους. Για να αποφύγουν την περιθωριοποίηση, που επέβαλαν οι όποιες κοινωνικές και πολιτιστικές διαφορές τους, οι πρόσφυγες προχώρησαν στην ίδρυση νέων σωματείων, μέσω των οποίων  εξέφραζαν την ανάγκη τους για επιβίωση, αυτοοργάνωση, συλλογικότητα, αναγνώριση και αποδοχή.

Οι πρόσφυγες, κυρίως αυτοί από την Κωνσταντινούπολη, συνεχιστές της μεγάλης αθλητικής παράδοσης του τόπου τους, ίδρυσαν πολλά νέα αθλητικά σωματεία, δίνοντας νέα ώθηση στην ήδη υπάρχουσα αθλητική κίνηση της πόλης. Είχαν αναπτύξει προ καιρού τη δράση τους οι ομάδες του Ηρακλή, του Άρη, της ΧΑΝΘ, αλλά και άλλες που συγκέντρωναν στους κόλπους τους την αθλούμενη νεολαία. Έτσι ιδρύθηκαν τα προσφυγικά σωματεία Βυζαντινή Αθλητική Ένωση (1923), Ένωση Κωνσταντινουπολιτών (1924), Αθλητική Ένωση Κωνσταντινουπολιτών Θεσσαλονίκης (ΑΕΚ) (1925) και Πανθεσσαλονίκειος Αθλητικός Όμιλος Κωνσταντινουπολιτών (ΠΑΟΚ) (1926). Μακροπρόθεσμα αποδείχτηκε ότι ο αθλητισμός ήταν ένας σημαντικός παράγοντας που συντέλεσε στη μείωση της απόστασης μεταξύ γηγενών και προσφύγων.

Η ιδέα της ίδρυσης του Βυζαντινού Αθλητικού Ομίλου ξεκίνησε με πρωτοβουλία μερικών φίλων -αποχωρήσαντα μέλη κάποιοι απ’ αυτούς των σωματείων ΑΕΚ Θεσσαλονίκης και ΠΑΟΚ- που ονειρεύτηκαν τη δημιουργία ενός νέου συλλόγου. Στην εφημερίδα «Νέα Αλήθεια» (φ.9^ης και 10^ης/9/1940) δημοσιεύτηκε: «Τέσσερα χρόνια μετά την Μικρασιατική καταστροφή μερικοί παληοί φίλοι και συναγωνισταί ξερριζωμένοι από τα σπιτικά τους με δυνατές τις αναμνήσεις της γης όπου μεγάλωσαν και όπου έγιναν άνδρες, απεφάσισαν την ίδρυσι του Βυζαντινού Αθλητικού Ομίλου». Ήταν Κυριακή της 9^ης Μαΐου 1926. Οι ιδρυτές, γνωστοί στον κύκλο των κωνσταντινουπολιτών της Θεσσαλονίκης, ήταν οι Στέφανος Βαφειάδης, Δημήτριος Σανταλτζίδης, Κων/νος Παναγιωτίδης, Θεολόγος Θεοδωρίδης, Θεοκλής Ευστρατιάδης, Ιωάννης Βασιλειάδης και Στυλιανός Χατζηγεωργίου. Την πρωτοβουλία τους στήριξαν αμέσως κι άλλοι, πρόσφυγες κυρίως κι εκείνοι από διαφορετικά μέρη.

Μετά από πολλές συγκεντρώσεις και συζητήσεις μεταξύ τους συγκροτήθηκε προσωρινό πενταμελές Διοικητικό Συμβούλιο, τα μέλη του οποίου υπέγραψαν την ιδρυτική πράξη και το καταστατικό του νέου συλλόγου. Στις 15 Οκτωβρίου 1926 κατατέθηκε στο Πρωτοδικείο η αίτηση για αναγνώριση του σωματείου με την ονομασία «Βυζαντινός Αθλητικός Όμιλος» (ΒΑΟ) και του καταστατικού του. Η επίσημη ίδρυση του σωματείου, σύμφωνα με το Αρχείο του Πρωτοδικείου Θεσσαλονίκης, έγινε στις 23 Δεκεμβρίου 1926. Την προσωρινή διοίκηση αποτελούσαν οι Στέφανος Βαφειάδης (Πρόεδρος), Στυλιανός Χατζηγεωργίου (Γενικός Γραμματέας), Κων/νος Παναγιωτίδης (Ταμίας),  Δημήτριος Σανταλτζίδης (Σύμβουλος-Έφορος Αθλητικού) και  Θεολόγος Θεοδωρίδης (Σύμβουλος-Έφορος Καλαθόσφαιρας), όλοι άνθρωποι με όρεξη για δουλειά και δίψα για πρόοδο. Συμπαραστάτες τους στο ξεκίνημα του νέου σωματείου και οι Θεοκ. Ευστρατιάδης, Ιω. Βασιλειάδης, Λεων. Ιορδανίδης, Αντ. Κωνσταντινίδης και Αλ. Λεοντιάδης, που βοήθησαν και αυτοί, ο καθένας με τον τρόπο του στο νέο ξεκίνημα. «…Ο ενθουσιασμός των παιδιών που αποτέλεσαν τον πυρήνα του Ομίλου υπήρξε εξαιρετικός. Ο αγώνας της επικρατήσεως τραχύς…».

Η ονομασία «Βυζαντινός» συσπείρωνε όλα τα μέλη του ΒΑΟ, που ήταν πρόσφυγες από την Κωνσταντινούπολη, αλλά και την Αδριανούπολη, τον Πόντο και τη Μικρά Ασία. Η μνήμη του Βυζαντίου άλλωστε κυριαρχούσε και στο έμβλημα του νέου συλλόγου -ένας επιβλητικός δικέφαλος αετός, στο στήθος του οποίου αναγραφόταν με κίτρινα γράμματα η ονομασία του Ομίλου (ΒΑΟ) και το έτος ιδρύσεως (1926).  Επίσημα χρώματα του νέου συλλόγου το κίτρινο και το μαύρο.

Στο άρθρο 26 του καταστατικού οριζόταν ότι: «οι αθληταί θα φέρωσι την κάτωθι στολήν, με βάσιν τον χρωματισμόν της Βυζαντινής Σημαίας: φιλές μαύρος, φανέλλα μαύρη με κίτρινον περιμασχάλιον και περιλαίμιον, εις το αριστερόν δε μέρος του στήθους εντός ορισμένου κίτρινου σχεδίου θα υπάρχει διαγώνιος μαύρη ταινία φέρουσα τα στοιχεία του ΒΑΟ, περισκελίς μαύρη με κίτρινας λωρίδας εκατέρωθεν, μαύρας περικνημίδας με δύο κίτρινας λωρίδας εκατέρωθεν, μαύρας περικνημίδας με δύο κιτρίνας περιφερείας και άσπρα υποδήματα….».

Οι ιδρυτές του ΒΑΟ οραματίζονταν ένα σύλλογο με σημαντικό ρόλο στην κοινωνία, τον αθλητισμό και τον πολιτισμό της πόλης. Η δημιουργία εντευκτηρίου, αίθουσας εκδηλώσεων και αθλητικών εγκαταστάσεων ήταν οι άμεσοι στόχοι τους. Ήταν δε αποφασισμένοι να πετύχουν τους στόχους τους, παρά τις οικονομικές κυρίως  δυσκολίες που αντιμετώπιζαν. Σημαντική βεβαίως υπήρξε η συμπαράσταση της Γενικής Διοίκησης και του Δήμου Θεσσαλονίκης αργότερα. Σε σχετική επιστολή του Διοικητικού Συμβουλίου προς τη Γενική Διοίκηση, με την οποία αιτούνταν οικονομικής ενίσχυσης, αναφέρεται ότι τα οικονομικά έσοδα του Ομίλου προέρχονταν «… από συνδρομές των μελών, το προϊόν ψυχαγωγικών συγκεντρώσεων και τη συνεχή επιβάρυνση των διοικούντων. Έχομεν ανάγκην οικονομικής επιχορηγήσεως δια την δημιουργίαν γηπέδου, έστω και μικρού, δια προπονήσεις των αθλητών και για αγώνες αθλοπαιδιών. Ομοίως για την ίδρυση εντευκτηρίου αθλητών και μελών. Βλέψεις μας, ο καταρτισμός κατά το δυνατόν πολυπληθεστέρων ομάδων κλασσικού αθλητισμού, αθλοπαιδιών, ελληνορωμαϊκής πάλης, σουηδικής γυμναστικής, η κατασκευή κοινωφελών έργων (βρύσες κ.α.) και η δενδροφύτευση χώρων της υπαίθρου….».

Τα δύο πρώτα χρόνια πέρασαν χωρίς ιδιαίτερα μεγάλη δράση. Η προσωπική εργασία και ο ζήλος των ιδρυτών, τους οδήγησε σταδιακά στη θεμελίωση των στόχων τους, στην αύξηση των μελών, στην ανάπτυξη νέων αθλητικών τμημάτων και του πρώτου εντευκτηρίου. Από το 1928 άρχισαν να αποδίδουν οι προσπάθειες και ο ΒΑΟ έκανε δυναμικά την εμφάνισή του σε αγώνες στίβου, αθλοπαιδιών, ποδοσφαίρου και ποδηλασίας.

Από την επόμενη χρονιά η άνοδος ήταν αλματώδης, καθώς ο ΒΑΟ ενισχύθηκε σημαντικά σε αθλητικό δυναμικό. Το 1929 σταμάτησε η δράση σωματείων, όπως η Βυζαντινή Αθλητική Ένωση, η Ένωση Κωνσταντινουπολιτών, η ΑΕΚ Θεσσαλονίκης και οι αθλητές τους συνέχισαν την αθλητική τους πορεία στο νέο πολλά υποσχόμενο σωματείο.  Τότε ιδρύθηκε και το τμήμα της πετοσφαίρισης.

Η επιτυχής μέχρι τότε πορεία του Ομίλου ήταν ικανή να προσελκύσει το ενδιαφέρον και των μη προσφύγων κατοίκων της πόλης, οι οποίοι σταδιακά εισέρχονταν και εντάσσονταν πλήρως στον Όμιλο, καταβάλλοντας κι αυτοί κάθε δυνατή προσπάθεια για την εκπλήρωση των στόχων που τέθηκαν εξαρχής.

Το 1936 αποτελεί χρονιά σταθμό για την ιστορία του Ομίλου, με τα εγκαίνια  του πρώτου γυμναστηρίου του, στη συμβολή των οδών Μανουσογιαννάκη 21 και Δεσπεραί, κοντά στη ΧΑΝΘ, εκεί όπου στεγάστηκαν τελικά τα γραφεία και το πρώτο εντευκτήριο. Σημαντική ήταν επίσης και η ίδρυση του τμήματος ελληνορωμαϊκής πάλης, μοναδικού τότε στη Βόρειο Ελλάδα. Παράλληλα, άρχισε να καλλιεργείται η ιδέα της ίδρυσης εκδρομικού-ορειβατικού τμήματος.

Λειτούργησε επίσης παιδικό τμήμα, με κύριο σκοπό την προσέλκυση μικρών παιδιών σε διάφορα αγωνίσματα, με 90 περίπου νεαρούς αθλητές. Την ευθύνη της γύμνασης και προπόνησης αυτών των παιδιών ανέλαβε ειδικός γι’ αυτό το σκοπό γυμναστής-προπονητής, ο Διαμαντής Διαμαντίδης, ο οποίος έστρεφε τους νεαρούς αθλητές στα καλλιεργούμενα από το ΒΑΟ τότε αγωνίσματα, λαμβάνοντας υπόψη τη σωματική διάπλαση, την κλίση και το  ταλέντο τους.

Το 1940 διοργανώθηκε μία συνάντηση πανηγυρικού χαρακτήρα, με αγώνες μπάσκετ, βόλεϊ και στίβου με την Ε.Ε. Αθηνών, εκδήλωση που απέφερε σημαντικά έσοδα στον Όμιλο, παρά τα τεράστια έξοδα της διοργάνωσης. Στόχος άλλωστε αυτών των διοργανώσεων ήταν η διατήρηση του ενδιαφέροντος των αθλητών για τα συγκεκριμένα αθλήματα, αλλά και το οικονομικό όφελος των οργανωτών.

Με την έναρξη του πολέμου και την κατοχή σταμάτησε κάθε αθλητική δράση. Πολλοί από τους νέους στρατευμένους αθλητές του δεν επέστρεψαν από το μέτωπο. Ο πρώτος αθλητής του ΒΑΟ που σκοτώθηκε στον πόλεμο, αναφέρεται ότι ήταν ο μπασκετμπολίστας Γεώργιος Παππάς.

Μετά την απελευθέρωση, το 1945, ο ΒΑΟ ήταν από τους πρώτους συλλόγους που συνέχισε δημιουργικά την πορεία του, με βάση τα ιδανικά και τις αρχές που έθεσε από την ίδρυσή του, αν και τα πρώτα μεταπολεμικά χρόνια ήταν δύσκολα. Τα πρώτα τμήματα που δραστηριοποιήθηκαν μεταπολεμικά ήταν το μπάσκετ, ο στίβος και η πάλη.

Οι ανεπαρκείς γηπεδικές εγκαταστάσεις όμως, προβλημάτιζαν έντονα τους διοικούντες. Την περίοδο αυτή η αθλητική δραστηριότητα του ΒΑΟ αναπτύχθηκε  στο δεύτερο γυμναστήριο του, στην οδό Σωκράτους, όπου βρήκαν στέγη οι αθλητές του μπάσκετ, της πάλης, αλλά και του στίβου.

Ο ΒΑΟ δεν περιορίστηκε μόνο στον αθλητικό τομέα, αλλά στράφηκε και σε άλλους τομείς σωματειακής δραστηριότητας. Έτσι ίδρυσε και επίσημα το ορειβατικό-εκδρομικό τμήμα, με το σκεπτικό της εξασφάλισης μίας ακόμη πηγής εσόδων για την άρτια λειτουργία των αθλητικών του τμημάτων.

Το 1949 ο Όμιλος ενισχύθηκε με την εγγραφή νέων μελών, εκ των οποίων οι 77 ήταν κωνσταντινουπολίτες, συνεχίζοντας τις ποικίλες δραστηριότητες του.  Σε απολογισμό του Διοικητικού Συμβουλίου αναφέρεται ότι, το 1950 λειτουργούσαν στον Όμιλο τα τμήματα «…αθλητικόν, αθλοπαιδιών, ποδηλατικόν, παλαιστικόν, γυναικείου αθλητισμού, εκδρομικόν…». Αριθμούσε δε 300 τακτικά μέλη και περί τους 150 αθλητές σε όλα τα τμήματά του. Τη χρονιά αυτή, με την ευκαιρία της συμπλήρωσης 25 χρόνων από την ίδρυση του Ομίλου, εκδόθηκε ένα μικρό έντυπο με τη δράση του Ομίλου (1926-1950) και διοργανώθηκαν εκδηλώσεις, εκδρομές και αθλητικοί αγώνες στίβου, μπάσκετ και βόλεϊ.

Τα τεράστια οικονομικά έξοδα που απαιτούνταν για τη λειτουργία των αθλητικών τμημάτων, αλλά και των άλλων δραστηριοτήτων του Ομίλου και οι μεταπολεμικές διοικήσεις κατάφερναν να τα αντιμετωπίζουν δίχως κρατική ή δημοτική ενίσχυση. Οι όποιες επιτυχίες στον αθλητισμό βασίζονταν αποκλειστικά στην ατομική πρωτοβουλία, το ζήλο και την προσωπική ενασχόληση των μελών του  Διοικητικού Συμβουλίου, αλλά και όλων των αθλητών, μελών και φίλων του Βυζαντινού Αθλητικού Ομίλου.

Ο εορτασμός των 30χρονων του ΒΑΟ πραγματοποιήθηκε τον Ιούλιο του 1956 με ποδηλατικούς αγώνες, εκδρομές ψυχαγωγικές βραδιές, αθλητικούς αγώνες, περιπάτους, ομιλίες και την εκδήλωση τιμής με απονομή διπλωμάτων σε όλους τους αθλητές και τα μέλη που προσέφεραν τις υπηρεσίες τους στα 30 χρόνια του Ομίλου. Τιμήθηκαν οι Στ. Βαγιάνος, Στ. Βαφειάδης, Αθ. Βεργόπουλος, Μεν. Γκράτζιος, Θ. Θεοδωρίδης, Αντ. Κωνσταντινίδης, Νικ. Λαζάρου, Ιω.  Μακριδάκης, Ιω. Μανιτάκης, Εμ. Μανωλόπουλος, Παν. Μανωλόπουλος, Χρ. Μαυρογορδάτος, Κων. Μιχαήλ, Ιω. Μιχαηλίδης, Ασπ. Μιχαηλίδου, Ηρ. Μπουζιώτης, Κων. Πιπιντάκος, Π.  Προσπαθοπούλου, Ηλ. Σίσκος, Ιω. Σούλιας, Νικ. Ταγαράς, Βυρ. Τιάλιος, Γρ. Τσίτσης.

Με τη λειτουργία του εντευκτηρίου και την ανέγερση του καταφυγίου στο Πάϊκο, τακτοποιήθηκε οριστικά και το θέμα του γυμναστηρίου με την εγκατάστασή του στις Συκιές, στην τοποθεσία «Πράσινος Μύλος», στις αρχές της δεκαετίας του ’60.

Το 1965 ήταν επίσης επετειακή χρονιά για τον Όμιλο με τη συμπλήρωση 40 χρόνων από την ίδρυσή του. Ο εορτασμός των 40χρονων είχε στόχο την προβολή της πολυσχιδούς δράσης του ΒΑΟ και την εδραίωση της θέσης του μεταξύ των πρώτων σωματείων σε τοπικό επίπεδο. Ο φιλόδοξος προγραμματισμός των εκδηλώσεων και των αγώνων όμως, προσέκρουσε στην οικονομική δυσπραγία του Ομίλου, με αποτέλεσμα την περικοπή εκδηλώσεων.

Το 1971 στα αθλητικά τμήματα του ΒΑΟ προστέθηκαν και αυτά της άρσης βαρών και αργότερα, το 1979, το τμήμα του χάντμπολ. Το 1976 ο Γ. Ωρολογάς, υπεύθυνος τότε στο τμήμα ενόργανης γυμναστικής της Τ.Ε. Σ.Ε.Γ.Α.Σ, πρότεινε την ίδρυση τμήματος ενόργανης γυμναστικής αγοριών και κοριτσιών στο ΒΑΟ, με ειδικό προπονητή και αθλητικό εξοπλισμό, χωρίς καμία οικονομική επιβάρυνση. Αν και η πρόταση εγκρίθηκε αρχικά από το Δ.Σ., η προσπάθεια δεν απέδωσε.

Το 1978 ιδρύθηκε νέα ομάδα σκάκι στο εντευκτήριο, αποτελούμενη από τους Λιάπη, Λιάλια, Βελισσαρόπουλο και Γρηγοριάδη, η κατέλαβε τότε την 3^η θέση στο Πρωτάθλημα Γ΄ Κατηγορίας Ελλάδος.   

Το 1985, πρώτο χρόνο λειτουργίας του κλειστού γυμναστηρίου στις Συκιές, οι εν ενεργεία αθλητές και αθλήτριες του ΒΑΟ ξεπερνούσαν τους 1210, ενώ προσήλθαν πάνω από 300 νέοι αθλητές. Στις αξιολογήσεις των συλλόγων της Γ.Γ.Α., των ετών 1985 και μετά, ο ΒΑΟ κατατασσόταν στους 5 πρώτους συλλόγους της χώρας, μετά τον Ηρακλή, τον Πανελλήνιο, τον Ολυμπιακό και τον Παναθηναϊκό, έχοντας κατακτήσει 100 και πλέον πανελλήνιους τίτλους σε όλα τα αθλήματα και σε όλες τις κατηγορίες.

Με πρωτοβουλία του Γεν. Γραμματέα Γ. Καλέση ιδρύθηκε το 1981 ο Σύνδεσμος Φίλων του ΒΑΟ στη Θεσσαλονίκη και αργότερα τα παραρτήματά του  στις Συκιές, τη Βέροια και την Κατερίνη. Μέλη του βετεράνοι αθλητές και φίλοι του Συλλόγου.

Το 2003 ο ΒΑΟ αριθμούσε περίπου 2000 μέλη, ενώ ο αύξων αριθμός στα μητρώα αθλητών ξεπερνούσε τα 7000 ονόματα.

Σήμερα ο ΒΑΟ λειτουργεί σε σύγχρονες αθλητικές εγκαταστάσεις στην οδό Ελπίδος, στις Συκιές, με τα τμήματα μπάσκετ ανδρών, εφήβων και παίδων, βόλεϊ γυναικών και κορασίδων, χάντμπολ ανδρών,  πάλης ανδρών, εφήβων και παίδων και ποδηλασίας. Παράλληλα ιδρύθηκαν ακαδημίες μπάσκετ, βόλεϊ, ποδοσφαίρου, χάντμπολ και πάλης, με σκοπό να λειτουργήσουν ως φυτώρια για μελλοντική τροφοδότηση νέων αθλητικών τμημάτων.

Στα 92 χρόνια από την ίδρυσή του ο Βυζαντινός Αθλητικός Όμιλος υπήρξε ένα σωματείο με πολύπλευρη δράση, με πορεία που ακολούθησε τον παλμό και τον  ενθουσιασμό των πρώτων χρόνων και λαμπρές επιδόσεις στον αγωνιστικό χώρο. Οι όποιες αντιξοότητες προέκυπταν, αντιμετωπίζονταν με τη δυναμική που διέθεταν οι άνθρωποί του, από όποια θέση κι αν αυτοί βρίσκονταν. Ανατρέχοντας κανείς στην ιστορία του ΒΑΟ διαπιστώνει ότι, κατά παράδοση οι αθλητές του διαποτίστηκαν με γνήσιο αθλητικό πνεύμα, εμπιστοσύνη και αγάπη για τον Όμιλο και μετά το τέλος της αθλητικής τους καριέρας πολλοί παρέμειναν στους κόλπους του ως μέλη και διοικητικά στελέχη, προχωρώντας στο υψηλό έργο της αποστολής που χάραξαν οι ιδρυτές του.