Projects and Datasets

• 用途：主要用作训练集，包含随机生成的高速运动场景。
• 场景类别：100类，每类包含500帧脉冲流。
• 光流标签：每隔10帧(Δt=10)和20帧(Δt=20)生成光流，共50,000帧标签。
• 数据格式：脉冲流为二进制矩阵(H×W×N)，光流标签为二维运动矢量场(H×W×2)。

• 用途：作为测试集，包含逼真的高速场景。
• 场景类别：10类（如 Ball、Fan、Fly），共约 25,100 帧数据；光流标签覆盖所有像素（100% 密度）。
• 数据格式：与 SPIFT 相同，但场景更复杂。

• 用途：专注于自动驾驶极端场景的脉冲相机合成数据集，支持无监督光流估计模型的训练与评估。
• 场景类别:10个模拟交通事故的极端场景，涵盖各种街道环境、天气条件（雨天、雾天）和运动目标（车辆、行人/骑行者）。
• 光流标签:基于CARLA模拟器构建，每个数据序列持续0.5-1.5秒。
• 数据格式:脉冲流以40kHz生成，支持微秒级光流分析；包含脉冲流、RGB帧、光流真值、实例分割和深度信息的多模态数据。

解决如下困难与挑战：

• 合成数据与真实场景的差距：传统合成数据（如SCFlow使用的图形模型数据）存在纹理不真实、光照简化、运动模式单一等问题，导致模型在真实场景中泛化能力差。RSSF通过基于真实高分辨率数据集（Slow Flow）模拟脉冲流，显著缩小了这一差距。
• 脉冲流的时间连续性建模：脉冲相机输出的是连续二进制脉冲流，单个脉冲仅反映积分结果而非瞬时状态，传统方法难以提取时空关联特征。RSSF通过多时间步长光流真值（dt=20,40,60）支持连续运动建模，解决了时间信息利用不足的问题。
• 真实数据标注难题：脉冲相机的真实数据难以直接标注光流。RSSF通过模拟生成脉冲流与光流真值的严格对应关系，绕过了真实数据标注的瓶颈。

• 用途：为脉冲相机提供单目深度估计数据集，涵盖合成环境和真实世界场景。
• 场景类别：
  • DENSE-spike：基于CARLA模拟器生成的多样化场景，包括不同天气和光照条件
  • Outdoor-spike：真实道路场景，模拟自动驾驶视角
• 数据格式：
  • DENSE-spike：346×260×128(128个时间戳)的脉冲流数据
  • Outdoor-spike：400×250@40kHz的真实脉冲流数据
• 数据规模：
  • DENSE-spike：8个序列(5训练/2验证/1测试)
  • Outdoor-spike：33个真实道路场景序列

• 用途：用于双目立体视觉和自动驾驶场景的脉冲数据集。
• 场景类别：
  • PKU-Spike-Stereo：利用一个ZED相机和两个脉冲相机去收集同步真实数据
  • Spike-KITTI：KITTI数据集的脉冲模拟版本
• 数据格式：
  • PKU-Spike-Stereo：ZED相机为1280*720分辨率，30fps；每个脉冲相机为400*250分辨率，20kHz采样率。
  • Spike-KITTI：分辨率同KITTI数据集
• 数据规模：
  • PKU-Spike-Stereo：10个类别（5个室内5个室外）
  • Spike-KITTI：160个训练序列，40个测试序列

• 用途：为脉冲相机提供多模态异步目标检测数据集，用于高速物体检测、低光环境感知和多模态融合算法验证。。
• 场景类别：包含高速运动、低光照条件、复杂背景等6种多样化场景，覆盖室内和室外环境。。
• 数据格式：
  • Vidar(类中央凹视觉): 脉冲流(Spikes)，400×250分辨率，20,000Hz采样率
  • DVS(类周边视觉): 异步事件流(Events)，每秒1200万事件，微秒级时间分辨率
• 数据规模：490段序列(每段约5秒)，50Hz标注频率，总标注框数达215.5k，覆盖9类物体。

• 用途：专注于高速目标检测与跟踪的数据集，支持SNN算法开发与超高速视觉系统测试。
• 场景类别：ClassA（动态物体和旋转场景）和ClassB（大场景和高速运动）。
• 数据特性：图像分辨率400×250，采样频率20,000 Hz，二进制spike事件流。
• 应用方向：高速运动目标跟踪、大场景三维重建、旋转物体姿态估计、交通监控系统等。

• 用途：基于事件相机的多目标跟踪数据集，主要关注数字目标的跟踪。
• 数据特性：采样率高达20kHz（20000fps），时间分辨率比传统相机提升300-600倍。
• 技术优势：不受曝光时间限制，避免运动模糊，特别适合高速运动场景。
• 应用方向：高速运动目标跟踪、事件流重建算法、跨模态研究、自动驾驶等实际应用场景。

• 用途：包含51段真实场景脉冲序列的高速视觉数据集，用于促进算法研究和开发。
• 场景类别：运动球类场景（13个序列）、复杂运动场景（8个序列）、特殊场景（8个序列）、生活场景（22个序列）。
• 数据特性：图像分辨率400×250，采样频率20,000 Hz，二进制spike事件流。
• 应用方向：图像重建、高速目标检测与追踪、运动分析（分割、光流估计、轨迹分析）、相机自运动研究等。