xingzhi's blog

1
Arrest015_x264 : police officers chasing a white van
2
Arson036_x264 : a person is setting fire to the restaurant
3
Normal_Videos213_x264 : two person are fighting
4
Normal_Videos395_x264 : someone stole from the store
5
Normal_Videos527_x264 : police officers apprehending fugitives

1
def visionguard_inference(video_path, target_label):
2
    """VisionGuard 异常检测完整流程"""
3

4
    # 阶段 1：VadCLIP 微调模型 - 预测异常起始/结束帧 + 初步分类
5
    vad_result = vad_detect(video_path, target_label)  # 返回帧范围 + VadCLIP的分类依据
6
    anomaly_slots = []
7

8
    for start_frame, end_frame, vad_confidence, vad_class_info in vad_result:
9
        if is_valid_frame_range(video_path, start_frame, end_frame):
10
            anomaly_slots.append({
11
                'start': start_frame,
12
                'end': end_frame,
13
                'vad_confidence': vad_confidence,
14
                'vad_class_info': vad_class_info  # VadCLIP的分类依据
15
            })
16

17
    # 阶段 2：FFmpeg 安全切片 - 将帧索引精确转换为时间戳
18
    video_clips = []
19
    for slot in anomaly_slots:
20
        safe_clip = safe_video_slice(video_path, slot['start'], slot['end'])
21
        if safe_clip is not None:
22
            video_clips.append((safe_clip, slot['vad_class_info']))
23

24
    # 阶段 3：Qwen2.5-VL 二次分类 - 基于VadCLIP分类依据的精准确认
25
    final_results = []
26
    for clip_path, vad_class_info in video_clips:
27
        # 关键：使用VadCLIP的分类依据作为参考，让Qwen进行二次分类
28
        qwen_decision = qwen_classify(clip_path, target_label, vad_guidance=vad_class_info)
29
        if qwen_decision['is_anomaly']:
30
            final_results.append({
31
                'start': vad_class_info['start'],
32
                'end': vad_class_info['end'],
33
                'classification': qwen_decision['class']
34
            })
35

36
    return final_results

1
你是一个视频异常行为分类专家。我将提供：
2
1. 一个视频片段
3
2. 待检测的行为标签：【{target_label}】
4
3. VadCLIP 模型对该片段的初步分析依据：{vad_analysis}
5

6
请基于视频内容和 VadCLIP 的分析，给出最终的分类决策。
7
特别注意：
8
- 考虑行为的完整内容和上下文
9
- 区分相似但不同的动作（如日常打闹 vs 斗殴）
10
- 输出最终判决：1 表示真实异常，0 表示日常行为

1
class GPUMemoryScheduler:
2
    """A10 24G 显存的智能调度器"""
3

4
    def aggressive_cleanup(self):
5
        """激进的显存清理"""
6
        gc.collect()
7
        gc.collect()  # 执行两次
8
        torch.cuda.empty_cache()
9
        torch.cuda.synchronize()
10
        return self.get_memory_usage()
11

12
    def stage_transition(self, from_stage, to_stage):
13
        """在两个推理阶段之间进行显存转换"""
14
        print(f"阶段转换: {from_stage} > {to_stage}")
15

16
        status_before = self.get_memory_usage()
17
        status_after = self.aggressive_cleanup()
18

19
        if status_after['free_mb'] < 2000:
20
            raise RuntimeError("显存不足")

1
Arrest015_x264 : police officers chasing a white van
2
Arson036_x264 : a person is setting fire to the restaurant
3
Normal_Videos213_x264 : two person are fighting
4
Normal_Videos395_x264 : someone stole from the store
5
Normal_Videos527_x264 : police officers apprehending fugitives

1
def visionguard_inference(video_path, target_label):
2
    """VisionGuard 异常检测完整流程"""
3

4
    # 第一级：VadCLIP 粗检索 - 快速定位疑似异常时间段
5
    anomalies_coarse = vad_clip_detect(video_path, target_label)
6
    anomaly_slots = []
7

8
    for start_frame, end_frame in anomalies_coarse.time_ranges:
9
        if is_valid_frame_range(video_path, start_frame, end_frame):
10
            anomaly_slots.append({
11
                'start': start_frame,
12
                'end': end_frame,
13
                'confidence': anomalies_coarse.probabilities[start_frame:end_frame].max()
14
            })
15

16
    # 第二级：FFmpeg 安全切片 - 确保不会越界
17
    video_clips = []
18
    for slot in anomaly_slots:
19
        safe_clip = safe_video_slice(video_path, slot['start'], slot['end'])
20
        if safe_clip is not None:
21
            video_clips.append(safe_clip)
22

23
    # 第三级：Qwen2.5-VL 精确认证 - 消除假阳性
24
    final_results = []
25
    for clip_path, original_slot in zip(video_clips, anomaly_slots):
26
        is_real_anomaly = qwen_verify(clip_path, target_label)
27
        if is_real_anomaly:
28
            final_results.append(original_slot)
29

30
    return final_results

1
作为安防视频分析专家，请判断当前视频切片中是否真实发生了行为：【{target_label}】。
2
注意以下几点：
3
1. 画面中可能包含与标签文本相似但本质不同的日常动作
4
2. 仅当行为特征完全符合异常定义时输出 1
5
3. 属于日常行为或无异常现象时输出 0
6
4. 不要被文本描述误导，要基于实际视觉内容判断

1
class GPUMemoryScheduler:
2
    """A10 24G 显存的智能调度器"""
3

4
    def aggressive_cleanup(self):
5
        """激进的显存清理"""
6
        gc.collect()
7
        gc.collect()  # 执行两次
8
        torch.cuda.empty_cache()
9
        torch.cuda.synchronize()
10
        return self.get_memory_usage()
11

12
    def stage_transition(self, from_stage, to_stage):
13
        """在两个推理阶段之间进行显存转换"""
14
        print(f"阶段转换: {from_stage} > {to_stage}")
15

16
        status_before = self.get_memory_usage()
17
        status_after = self.aggressive_cleanup()
18

19
        if status_after['free_mb'] < 2000:
20
            raise RuntimeError("显存不足")