探索 Instagram 卷轴和故事的法律数据源

开发短视频训练模型的数据集

基于 Python 的后端脚本，用于抓取公共 Instagram 个人资料

import requests
from bs4 import BeautifulSoup
import json
import os
import time
# Define headers for requests
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
# Function to fetch profile data
def fetch_profile_data(profile_url):
    try:
        response = requests.get(profile_url, headers=HEADERS)
        if response.status_code == 200:
            soup = BeautifulSoup(response.text, 'html.parser')
            script_tag = soup.find('script', text=lambda x: x and 'window._sharedData' in x)
            json_data = json.loads(script_tag.string.split(' = ', 1)[1].rstrip(';'))
            return json_data
        else:
            print(f"Error: Status code {response.status_code} for {profile_url}")
    except Exception as e:
        print(f"Exception occurred: {e}")
    return None
# Save videos locally
def save_video(video_url, folder, filename):
    try:
        response = requests.get(video_url, stream=True)
        if response.status_code == 200:
            os.makedirs(folder, exist_ok=True)
            filepath = os.path.join(folder, filename)
            with open(filepath, 'wb') as file:
                for chunk in response.iter_content(1024):
                    file.write(chunk)
            print(f"Video saved at {filepath}")
        else:
            print(f"Failed to download video: {video_url}")
    except Exception as e:
        print(f"Error saving video: {e}")
# Example: Fetch public profile data
profile_url = "https://www.instagram.com/some_public_profile/"
profile_data = fetch_profile_data(profile_url)
if profile_data:
    posts = profile_data['entry_data']['ProfilePage'][0]['graphql']['user']['edge_owner_to_timeline_media']['edges']
    for post in posts:
        if 'video_url' in post['node']:
            video_url = post['node']['video_url']
            save_video(video_url, folder="videos", filename=f"{post['node']['id']}.mp4")

利用 API 进行类似 Instagram 的数据收集

用于渲染视频集合的 JavaScript 前端脚本

const fetch = require('node-fetch');
const fs = require('fs');
const path = require('path');
// Function to fetch video metadata
async function fetchVideoMetadata(apiUrl) {
    try {
        const response = await fetch(apiUrl);
        if (response.ok) {
            const data = await response.json();
            return data.videos;
        } else {
            console.error(`Failed to fetch metadata: ${response.status}`);
        }
    } catch (error) {
        console.error(`Error fetching metadata: ${error.message}`);
    }
}
// Function to download videos
async function downloadVideo(videoUrl, outputDir) {
    try {
        const response = await fetch(videoUrl);
        if (response.ok) {
            const videoBuffer = await response.buffer();
            const videoName = path.basename(videoUrl);
            fs.mkdirSync(outputDir, { recursive: true });
            fs.writeFileSync(path.join(outputDir, videoName), videoBuffer);
            console.log(`Saved ${videoName}`);
        } else {
            console.error(`Failed to download: ${videoUrl}`);
        }
    } catch (error) {
        console.error(`Error downloading video: ${error.message}`);
    }
}
// Example usage
const apiEndpoint = "https://api.example.com/videos";
fetchVideoMetadata(apiEndpoint).then(videos => {
    videos.forEach(video => downloadVideo(video.url, './downloads'));
});

关于 Instagram 视频数据集的常见问题

1. 我可以合法地抓取 Instagram 视频吗？
2. 虽然抓取公共内容似乎是允许的，但它通常违反平台服务条款。使用 requests 和 BeautifulSoup 应谨慎接近。
3. 是否有现有的短视频开放数据集？
4. 是的，像这样的数据集 YFCC100M 包括短视频，但您可能需要对其进行预处理以匹配 Instagram 风格的内容。
5. 哪些编程工具最适合网络抓取？
6. 图书馆喜欢 requests 和 BeautifulSoup Python 中的语言以及用于动态页面的 Selenium 等工具被广泛使用。
7. 如何以合乎道德的方式获取视频？
8. 考虑使用 YouTube 或 TikTok 等平台的 API，这些平台提供对公共视频和元数据的结构化访问。
9. 抓取视频时常见的挑战有哪些？
10. 问题包括速率限制、IP 禁令以及可能破坏抓取工具的网站结构变化。

关于道德视频数据收集的总结

构建 Instagram 风格的视频数据集既令人兴奋又充满挑战。道德和法律问题至关重要，并且仅依赖于诸如 要求 可能并不总是最好的路线。探索开放资源可确保长期可扩展性。 📊

通过利用学术数据集或开发人员 API 等选项，您可以在保持合规性的同时收集有意义的内容。方法多样化不仅支持道德标准，还可以提高创新人工智能应用程序的训练数据集的质量。 🌟