Остатки рыб, преимущественно в виде обломков чешуи и шипов, известны лишь с позднего силура. В отложениях нижнего девона обнаружены остатки уже нескольких, довольно четко различимых групп рыб. Поэтому можно определенно говорить о том, что становление надкласса рыб - появление наиболее примитивных рыб и их дивергенция - происходили в начале - середине силура. Считают, что возникновение рыб шло в пресноводных водоемах, и лишь позднее разные группы рыб независимо и многократно проникали в моря, а некоторые потом вновь распространялись по пресным водоемам. Пресноводное происхождение рыб подтверждается палеонтологическими данными.

Скудность и плохая сохранность ископаемых остатков рыб не позволяют проследить пути возникновения отдельных групп. Наряду с неполнотой палеонтологической летописи этот анализ затруднен и тем, что за столь длительный период (400 -450 млн. лет) эволюция рыб протекала сложными путями: возникали многочисленные группы, часть которых впоследствии вымерла; в ряде случаев эволюция шла конвергентным путем: приспосабливаясь к жизни в сходных местообитаниях, далеко отстоящие друг от друга группы вырабатывали сходные приспособления и их морфофизиологические особенности вторично сближались. Все это затрудняет выяснение хода эволюции рыб и усложняет разработку их системы.

Предполагается, что рыбы обособились отживших в пресных водоемах примитивных птераспидоморф (Pteraspidomorphi; разнощитковые бесчелюстные), видимо, в начале силура. От первичных, пока неизвестных примитивных челюстноротых произошли две группы: панцирные и челюстножаберные; их рассматривают как самостоятельные классы.

Класс панцирные рыбы - Placodermi объединяет мелких и крупных рыб (некоторые достигали 6 м); их голова и передняя часть туловища были покрыты сложным панцирем из костных пластин.

Задняя часть тела покрыта чешуей или оставалась голой; массивные челюсти нередко окостеневали. Грудные плавники обычного типа либо они были покрыты костными щитками, подвижно сочлененными с панцирем тела. У части видов имелись брюшные плавники. В образующемся позвоночнике развивались дуги позвонков, а их тел, видимо, еще не было. Жаберные щели прикрывал отросток головного панциря. Эти рыбы жили в реках, но в середине девона появились и морские формы. Вероятно, питались беспозвоночными. Полностью вымерли к концу девона - началу каменноугольного периода.

Близкие к панцирным рыбам челюстножаберные рыбы (кл. Aphetohyoidi, или Acanthodii) имели мелкие и средние размеры и веретенообразное тело. Видимо, жили в реках с быстрым течением и отличались более высокой подвижностью. Голова и тело были покрыты костными пластинками и многочисленными чешуями, напоминающими ганоидные чешуи некоторых костных рыб. Череп хрящевой, иногда частично окостеневал. Челюстная дуга напоминала по своему строению лежащие за ней жаберные дуги и отличалась лишь большей массивностью; верхняя челюсть состояла из двух-трех элементов, нижняя - из одного-двух. Жаберные щели, видимо, открывались наружу самостоятельными отверстиями, но у части видов развивались жаберные крышки; сохранялась жаберная щель между челюстной и подъязычной дугами. Хорошо развитые парные и непарные плавники поддерживались мощными костными шипами. У части видов между крупными грудными и брюшными плавниками располагалось до шести пар маленьких плавничков или парных шипов. Эту особенность обычно рассматривают как свидетельство возникновения парных плавников путем частичной редукции участков прежде сплошных парных плавниковых складок, аналогичных метаплевральным складкам бесчерепных. Скелет парных плавников и их поясов, вероятно, был схож со скелетом современных хрящевых рыб.

В середине девона представители этого класса распространились и по морям; к середине пермского периода они вымерли. Вероятно, от каких-то примитивных челюстножаберных в начале девона обособились хрящевые рыбы (кл. Chondrichthyes), а другая группа примитивных челюстножаберных, может быть, еще в конце силура дала начало костным рыбам (кл. Osteichthyes). Можно предположить, что обитание в реках с быстрым течением способствовало формированию костного скелета, что не только обеспечило большее разнообразие движений, но создало возможность опоры плавников на грунт.

В отложениях среднего девона встречаются зубы и, реже, отпечатки тела акулоподобных хрящевых рыб Cladoselachii. Вероятно, большинство видов этой группы жили уже в морях. Это рыбы мелких и средних размеров (длиной немногим более метра) со стройным веретенообразным телом, с мощным гетероцеркальным хвостом. Их парные плавники, как и у челюстножаберных, прикреплялись к телу широким основанием; грудные плавники были крупнее брюшных, тело покрывала плакоидная чешуя. Скелет хрящевой; тел позвонков не было. Верхняя и нижняя челюсти состояли из отдельных элементов, но поддерживались подъязычной дугой. Жаберных дуг более пяти. Рот находился почти на конце морды; хорошо развиты крупные глаза. Эта группа вымерла к концу каменноугольного периода. Вероятно, в середине девона от примитивных пресноводных кладоселахий обособляются акулоподобные - Xenacanthida (Pleuracanthodii) - рыбы длиной до 1 м, со стройным телом, удлиненным спинным плавником и дифицекальным хвостом. Скелет грудных плавников образован центральной осью с расположенными по бокам радиалиями (бисериальный); брюшные плавники моносериальные, у самцов в них обособляются птеригоподии (совокупительные органы). Скелет хрящевой, иногда частично обызвествлявшнися, тел позвонков не было. Остатки этих рыб обычны в отложениях пресноводных водоемов каменноугольного периода и нижней перми. Видимо, были активными хищниками, питавшимися мелкими рыбами. К концу перми они вымерли, и с этих пор акулоподобные рыбы в пресных водоемах практически не встречаются.

Видимо, к середине девона от каких-то морских примитивных кладоселахий обособляются настоящие акуловые рыбы - пластиножаберные - Elasmobranchii. Они сохраняют часть черт своих предков (например, плакоидную чешую), но приобретают ряд новых признаков: дифференцируется скелет плавников; у самцов участок брюшного плавника преобразуется в совокупительный орган - птеригоподии; появляются наряду с верхними дугами хрящевые тела позвонков; верхняя и нижняя челюсти состоят каждая из одного парного элемента; челюстная дуга укрепляется на мозговом черепе амфистилически или, позже, гиостилически; усложняется строение зубов. Эти рыбы жили в морях, питаясь различными беспозвоночными, а с появлением там разнообразных костных рыб - и рыбами. Видимо, в юрский период начинается дифференцировка пластиножаберных рыб на две группы: акул (Selachomorpha) и скатов (Batomorpha). Представители некоторых семейств, возникших еще в юре, встречаются и сейчас, остальные ныне существующие семейства сформировались к концу мезозойской эры.

С конца девона и особенно в каменноугольном периоде встречаются остатки морских придонных рыб, питавшихся преимущественно моллюсками. Они имели уплощенное тело и большие грудные плавники. Верхняя челюсть прирастала к мозговому черепу (аутостилия); губы уплощенные, плотно прилегали друг к другу или сливались в крепкие костные пластинки, что помогало разрушать раковины моллюсков. Этих рыб объединяют в группу Bradyodonti. Полагают, что они обособились от каких-то примитивных акулообразных рыб (высказывалось предположение, что это древняя самостоятельная ветвь рыб). В пермском периоде брадиодонты вымирают, но с конца триаса начинают встречаться остатки глубоководных морских цельноголовых рыб, или химер, - Chiraaeriforraes. Их считают потомками брадиодонтов, объединяя обе группы в подкласс Holocephali.

Выше уже говорилось, что от какой-то примитивной группы челюстножаберных рыб, возможно, уже в конце силура обособились костные рыбы (класс Osteichthyes). Отсутствие достоверных палеонтологических остатков не позволяет проследить начальные этапы их эволюции. В девоне встречаются представители обоих достаточно четко обособленных подклассов костных рыб: лопастеперые - Sacropterygii (нижний девон) и лучеперые - Actinopterygii (средний девон). Оба подкласса, видимо, имели общих или близких предков.