Neuroevolution is a representative neural architecture search paradigm that evolves both network topology and weights through evolutionary algorithms. In this paper, we propose Seq103, a unified NEAT-style neuroevolution framework for compact sequence architecture discovery. Seq103 consists of a shared evolutionary backbone and an optional recurrent extension. The shared backbone includes an elementary node-and-connection representation, per-class RMSE-based evaluation, mutation-based evolution with class-wise recombination, and elitism. The optional hidden-state mechanism extends the search space with hidden-state nodes and hidden connections, enabling temporal memory when step-wise recurrent inference is required. With this design, Seq103 applies the same core search pipeline to both step-wise recurrent and sample-wise feedforward sequence classification. In recurrent tasks, the hidden-state extension is enabled to provide temporal memory; in feedforward tasks, it is disabled while the shared evolutionary backbone remains unchanged. We evaluate Seq103 on 8 text classification datasets and the full UCRArchive2018 benchmark with 128 univariate time-series datasets. On step-wise tasks, Seq103 retains 86.96% of the best-baseline accuracy on average while using 34.6x to 3218.0x fewer parameters. On sample-wise tasks over the full UCRArchive2018 benchmark, Seq103 retains 81.95% of the best-baseline accuracy on average while using 11.8x to 160,601.0x fewer parameters.


翻译:神经进化是一种代表性神经架构搜索范式,通过进化算法同时演化网络拓扑结构和权重。本文提出Seq103,一个统一的NEAT风格神经进化框架,用于紧凑序列架构发现。Seq103包含共享进化主干与可选循环扩展两部分。共享主干包括基本节点-连接表示、基于每类RMSE的评估、带类别重组的突变进化机制以及精英保留策略。可选隐藏状态机制通过引入隐藏状态节点和隐藏连接扩展搜索空间,在需要逐步循环推理时提供时间记忆能力。基于此设计,Seq103将相同的核心搜索流程同时应用于逐步循环和样本前馈序列分类任务:在循环任务中启用隐藏状态扩展以提供时间记忆;在前馈任务中禁用该扩展,同时保持共享进化主干不变。我们在8个文本分类数据集和包含128个单变量时间序列的完整UCRArchive2018基准上评估Seq103。在逐步任务中,Seq103在保持平均最佳基线精度86.96%的同时,参数量减少34.6倍至3210.8倍;在完整UCRArchive2018基准的样本前馈任务中,Seq103在保持平均最佳基线精度81.95%的同时,参数量减少11.8倍至160,601.0倍。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【新书】神经进化:释放 AI 智能体设计的创造力, 484页pdf
专知会员服务
42+阅读 · 2025年11月23日
神经网络架构搜索研究进展与展望
专知会员服务
50+阅读 · 2023年12月21日
专知会员服务
41+阅读 · 2021年3月3日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
37+阅读 · 2020年12月30日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
Seq2seq强化,Pointer Network简介
机器学习算法与Python学习
15+阅读 · 2018年12月8日
基础 | 基于注意力机制的seq2seq网络
黑龙江大学自然语言处理实验室
16+阅读 · 2018年3月7日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【新书】神经进化:释放 AI 智能体设计的创造力, 484页pdf
专知会员服务
42+阅读 · 2025年11月23日
神经网络架构搜索研究进展与展望
专知会员服务
50+阅读 · 2023年12月21日
专知会员服务
41+阅读 · 2021年3月3日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
37+阅读 · 2020年12月30日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员