Андрей Андреевич Марков родился 14 июня 1856 года в Рязанской губернии. Его отец позднее переехал в Петербург, где, получив звание частного поверенного, успешно занимался адвокатской практикой.
Среднее образование А. А. Марков получил в гимназии. Он не относился к числу лучших учеников; напротив, из гимназии неоднократно поступали жалобы на его неудачи по всем предметам, за исключением математики. Были предупреждения отцу, что эта неуспеваемость может повести к исключению сына из учебного заведения. Впрочем, в последних классах самому А. А. Маркову занятия в гимназии были настолько тягостны, что он подумывал об оставлении её и переходе в техническое учебное заведение. Особенно досаждали ему древние языки.
Увлечение математикой у А. А. Маркова началось в гимназические годы. Уже тогда он приступил к самостоятельному изучению высшей математики. Эти занятия, как ему казалось, привели его к открытию нового метода интегрирования линейных дифференциальных уравнений с постоянными коэффициентами. Метод, найденный А. А. Марковым, был, однако, не новым в науке, но это первое самостоятельное открытие привело к знакомству с университетскими профессорами и навсегда определило его дальнейшие занятия.
В восемнадцать лет А. А. Марков окончил гимназию и поступил в Петербургский университет. В то время там читал лекции великий русский математик П. Л. Чебышев. Влияние Чебышева на развитие и направление научных интересов молодого студента оказалось решающим.
Университет А. А. Марков окончил в 1878 г. с золотой медалью за научную работу "Об интегрировании дифференциальных уравнений при помощи непрерывных дробей". Через два года после этого он защитил магистерскую диссертацию и начал преподавать в Петербургском университете сначала в качестве приват-доцента, а с 1886 г.- в качестве профессора.
Уже через восемь лет после опубликования А. А. Марковым первой научной работы его научные заслуги были столь велики, что, по предложению П. Л. Чебышева, Академия наук избрала его в 1886 г. адъюнктом, через четыре года — экстраординарным академиком, а ещё через шесть лет — ординарным академиком.
Дальнейшая жизнь А. А. Маркова целиком посвящена науке. Свой последний мемуар он представил Академии наук всего лишь за несколько месяцев до смерти. Тяжёлый недуг свалил его в постель, и 20 июля 1922 года он умер
Научное творчество А. А. Маркова весьма разнообразно. Первые годы он интересовался теорией чисел, дифференциальными уравнениями, теорией функций и другими вопросами, позднее он целиком занялся теорией вероятностей. Результаты, полученные им в каждой из названных областей, способны были создать ему имя крупного учёного. Многие его работы воспринимаются и теперь как классические произведения математики и всё ещё продолжают питать идеями, методами и постановками задач новые поколения исследователей. Однако самые значительные достижения А. А. Маркова принадлежат теории чисел и теории вероятностей и, пожалуй, в первую очередь последней из них.
Если в теории чисел он способствовал развитию одного-двух её разделов, то в теории вероятностей его труды привели не только к значительному прогрессу существовавших до него направлений, но и к коренному преобразованию всей этой науки. Эти работы принесли ему всемирную известность не только среди математиков, но и среди физиков, техников, естествоиспытателей. Именно здесь во всей полноте вскрылись сила, разносторонность и своеобразные черты его дарования. Именно эти исследования дали толчок к созданию и последующему бурному развитию основного в настоящее время раздела теории вероятностей — теории стохастических процессов, раздела математики, играющего крупную роль в современной теоретической физике, а также в математической обработке многих технических и естественно-научных теорий.
Первые работы А. А. Маркова по теории вероятностей являются непосредственным продолжением и завершением исследований П. Л. Чебышева и относятся, во-первых, к установлению наиболее общих условий, при которых имеет место закон больших чисел, и, во-вторых, к доказательству центральной предельной теоремы теории вероятностей. П. Л. Чебышев сформулировал эту теорему, дал набросок метода её доказательства (метод моментов), но самого строгого доказательства не дал. А. А. Маркову удалось осуществить идеи П. Л. Чебышева и дать безупречное доказательство указанной теоремы в очень широких условиях. А. А. Марков шёл очень сложным и остроумным путём через разложение в непрерывные дроби интеграла особого вида.
А.А. Марков является первооткрывателем обширного класса стохастических процессов с дискретной и непрерывной временной компонентой, названных его именем. А.А. Марков существенно продвинул классические исследования предшественников, касающиеся закона больших чисел и центральной предельной теоремы теории вероятностей, а также распространил их и на цепи Маркова. Следует указать, что А.А. Марков своим открытием сделал крупнейший вклад в теорию случайных процессов и теорию вероятностей в целом.
В общем списке научных трудов А.А. Маркова работы по математическому анализу составляют более трети. Его внимание привлекали теория непрерывных дробей, исчисление конечных разностей, теория интерполирования функций, экстремальные задачи в функциональных пространствах, проблема моментов, теория ортогональных многочленов, квадратурные формулы, дифференциальные уравнения, теория функций, наименее уклоняющихся от нуля, и другие вопросы. По многим разделам математического анализа А.А. Марков получил важные результаты, которые играют важную роль и в наши дни.
А.А. Марков воспринял идеи своего учителя П.Л. Чебышёва и занимался решением многих задач, поставленных в его трудах. Классические работы Чебышева и Маркова о предельных величинах интегралов составили основы теории моментов и теории экстремальных задач в функциональных пространствах.
Работ по теории чисел у А.А. Маркова сравнительно немного — 15, но они имеют непреходящее значение для этой теории. Сюда относится прежде всего магистерская диссертация «О бинарных квадратичных формах положительного определителя» (1880). Она примыкала к исследованиям А.Н. Коркина и Е.И. Золотарева и была высоко оценена П.Л. Чебышёвым. Диссертация посвящена проблеме арифметических минимумов неопределенных бинарных квадратичных форм. В последующих статьях рассматривается проблема арифметических минимумов неопределенных тернарных и кватернарных квадратичных форм. Идеи и результаты А.А. Маркова оказали большое влияние на дальнейшее развитие теории чисел.