υμνογραφία είναι ήδη γνωστή στους τρεις πρώτους αιώνες του Βυζαντίου, πριν δηλαδή από την εδραίωση του χριστιανισμού επί Μεγάλου Κωνσταντίνου. Την άποψη αυτή επιβεβαιώνει ο απόστολος Παύλος στην επιστολή του προς τους Εφεσίους (Εφ. 1.3-14 και 5.18-19).
Οι πρώτοι χριστιανοί φαίνεται ότι συνεχίζουν την υμνολογική παράδοση των Ιουδαίων στη συναγωγή. Οι Ψαλμοί του Δαβίδ και τα ρυθμικά χωρία της Παλαιάς Διαθήκης, αλλά αργότερα και της Καινής Διαθήκης, αποτέλεσαν τους πρώτους ύμνους τους. Τέτοια ρυθμικά χωρία, όπως αυτά που μας διασώζει ο ευαγγελιστής Λουκάς (Λουκ. 1.42, 46-55, 68-69 και 2.14), χρησιμοποιούνται μέχρι σήμερα ακόμα στις Ακολουθίες. Οι ποιητικές ομιλίες των Πατέρων της Εκκλησίας μαρτυρούν επίσης την καλλιέργεια της υμνογραφικής γλώσσας στην εποχή αυτή. Ο Κλήμης Ρώμης στην επιστολή του, γύρω στο 96 π.Χ., και κυρίως ο Μελίτων Σάρδεων στην ομιλία του για το Πάσχα περιέχουν χωρία σε ρυθμικό πεζό λόγο.
Από τους αρχαιότερους ύμνους είναι οι "κοινωνικοί", που ονομάστηκαν έτσι γιατί ψάλλονταν κατά τη Θεία Κοινωνία. Μας έχουν διασωθεί σ' ένα αιγυπτιακό όστρακο τoυ 3ου αιώνα και στον πάπυρο P. Rainer (αρ. 19931) του 5ου αιώνα. Από τον περιορισμένο αριθμό των σωζόμενων αρχαϊκών ύμνων διαπιστώνουμε ότι οι πρώτοι λειτουργικοί ύμνοι ήταν γραμμένοι σε απλή γλώσσα και ρυθμικό πεζό λόγο. Εκτελούνταν αντιφωνικώς, δηλαδή ψάλλονταν διαδοχικά από τον ψάλτη και το λαό ή από δύο χορούς των ψαλτών. Τέτοια αντιφωνικά μέλη ήταν οι ψαλμοί του Δαυίδ και οι ύμνοι που παραδίδονται σήμερα στην Παλαιά και την Kαινή Διαθήκη. O όρος "αντίφωνον" όμως εξελίχθηκε σταδιακά και κατέληξε να σημαίνει το εφύμνιο. Άλλοτε έχει τη μορφή μιας απλής επίκλησης (στην εβραϊκή ή στην ελληνική), όπως "Aλληλούια", "Aμήν" ή "Eλέησόν με, Kύριε", "Mνήσθητί μου, Kύριε", άλλοτε είναι μια σύντομη φράση με άρτιο νόημα, όπως "Tαις πρεσβείαις της Θεοτόκου, Σώτερ, σώσον ημάς" και άλλοτε έχει τη μορφή τροπαρίου (για παράδειγμα, το τροπάριο που ψάλλεται στην ακολουθία των ωρών της Μεγάλης Παρασκευής: "Σήμερον κρεμάται επί ξύλου [...]".
Οι Αποστολικές Διαταγές (Constitutiones Apostolicae) των αρχών του 4ου αιώνα διασώζουν λείψανα αρχαϊκής υμνογραφίας των προηγούμενων αιώνων. Μεταξύ αυτών είναι και το Φως ιλαρόν που ψάλλεται μέχρι σήμερα στην Ακολουθία του Εσπερινού και αποτελεί τον πιο αντιπροσωπευτικό ύμνο του αντιφωνικού τρόπου υμνωδίας των πρώτων χριστιανών. Πρόκειται για έναν από τους πρώτους ύμνους χωρίς άμεση βιβλική εξάρτηση και ο Μέγας Βασίλειος (329-379) τον ονομάζει "επιλύχνιον ευχαριστίαν".
Μετά την εδραίωση του χριστιανισμού η υμνογραφία έπρεπε να παίξει σημαντικότερο ρόλο στις λατρευτικές εκδηλώσεις των χριστιανών. Φαίνεται όμως ότι συντηρητικές χριστιανικές κοινότητες, κυρίως οι μοναστικές, καταδίκαζαν τη χρήση ύμνων, είτε ως ασυμβίβαστη με τη ζωή των μοναχών είτε για να προστατεύσουν τους πιστούς από τις αιρέσεις. Πράγματι οι αιρετικοί έδωσαν σημαντική ώθηση στην υμνογραφία, διότι τη χρησιμοποίησαν με τέτοια επιτυχία, ώστε οι δογματικές αντιπαραθέσεις με την Εκκλησία να διεξάγονται πλέον μέσω της υμνογραφίας.
Μαρτυρίες του 5ου αιώνα διασώζουν τα ονόματα των πρωιμότερων επώνυμων υμνογράφων, του Άνθιμου και του Τιμοκλή. Και οι δύο είναι γνωστοί από τη συμμετοχή τους στη Δ' Οικουμενική Σύνοδο στη Χαλκηδόνα, το έτος 451, ο Άνθιμος ως υποστηρικτής της και ο Τιμοκλής ως πολέμιός της.

Τροπάριο που ψάλλεται στην ακολουθία των Ωρών της Μεγάλης Παρασκευής ως εφύμνιο
Σήμερον κρεμάται επί ξύλου/ ο εν ύδασιν την γην κρεμάσας/ στέφανον εξ ακανθών περιτίθεται/ ο των αγγέλων βασιλεύς [...]

Επιλύχνιος Ευχαριστία