DeepAnalyze : laissez l'IA devenir votre data scientist exclusif ! Analyse approfondie des projets open source

À l'ère de l'explosion des données, l'analyse des données est devenue le cœur du processus décisionnel des entreprises. Cependant, la pénurie de data scientists, les coûts élevés de la main-d'œuvre et le seuil d'apprentissage des outils traditionnels d'analyse des données ont découragé de nombreuses entreprises. Aujourd'hui, j'aimerais vous présenter unUn projet open source révolutionnaire--DeepAnalyze, qui permet d'avoir facilement une vue d'ensemble de la situation.Data Scientist en ligne 24/7!

Qu'est-ce que DeepAnalyze ?

DeepAnalyze estLe premier modèle de grand langage basé sur des agents pour une science des données autonome(Agentic LLM), développé conjointement par une équipe de l'université Renmin de Chine et de l'université Tsinghua. Il exécute non seulement les tâches traditionnelles d'analyse des données, mais agit également comme un scientifique des données humainPlanification et optimisation autonomesUne véritable automatisation "de bout en bout" de l'ensemble du processus de science des données, des données brutes aux rapports de recherche au niveau de l'analyste.

💡 Principales avancéesDeepAnalyze-8B (8B paramètres seulement) surpasse les grands modèles commerciaux tels que GPT-4o-mini dans plusieurs benchmarks, devenant ainsi le premier à achever le cycle de vie de DeepAnalyze-8B (8B paramètres seulement).Recherche sur les données ouvertesLe modèle open source.

Les cinq capacités fondamentales de DeepAnalyze

1️⃣ Pipeline de science des données de bout en bout

DeepAnalyze automatise l'ensemble du processus de science des données :

• Préparation des donnéesTraitement automatique des valeurs manquantes, dédoublonnage, conversion de format
• l'analyse des donnéesLes statistiques : calcul d'indicateurs statistiques, identification de schémas de données
• Modélisation des donnéesLes modèles prédictifs : Construire des modèles prédictifs et évaluer les performances
• Visualisation des donnéesLes résultats de l'analyse des données : Générer des diagrammes et des rapports de visualisation professionnels.
• Génération de rapportsLes rapports professionnels de niveau analytique : Produire des rapports professionnels de niveau analytique

2️⃣ Recherche sur les données ouvertes

Contrairement aux outils traditionnels, DeepAnalyze n'est pas limité à des processus prédéfinis :

• l'exploration autonomeDes sources de données qui "pensent" comme un data scientist humain
• réponse flexibleFormats de données multiples : CSV, Excel, JSON, base de données, Markdown, etc.
• profondément enracinéL'histoire qui se cache derrière les données, pour des analyses vraiment pertinentes

Après avoir téléchargé plusieurs fichiers de données, DeepAnalyze analyse automatiquement les modèles d'inscription des étudiants, les réseaux de transfert institutionnel et génère des rapports de recherche approfondis contenant des graphiques et des tableaux professionnels.

3️⃣ Autonomie sans intervention humaine

Les fonctions les plus puissantes de DeepAnalyze sont les suivantesPlanification et optimisation autonomesCapacité :

• il sera d'abordplanifier (comment faire qqch)Analyser les trajectoires
• ensuite (après)exploration proactivechiffres
• continuer à faire qqchcompréhensionsstructure des données
• réaliserPréparation et analyse des données
• éventuelGénérer des rapports professionnels

L'ensemble du processus ne nécessite pas de flux de travail prédéfini et pense comme un être humain, tout en étant plus efficace et plus précis qu'un être humain !

4️⃣ Prise en charge de sources de données multiples

DeepAnalyze peut gérer un large éventail de formats de données :

• 📊 Données structuréesCSV, Excel, base de données
• 📦 données semi-structurées: JSON, XML, YAML
• 📝 Données non structuréesTXT, Markdown

Quel que soit le format de vos données, DeepAnalyze les comprend et les analyse en profondeur.

5️⃣ Full Open Source

Les principaux atouts de DeepAnalyze sont les suivantsEntièrement open source: :

• Poids des modèles Open Source
• Le code est complètement ouvert
• Les données de formation sont accessibles au public
• Tutoriels de déploiement en détail

Vous n'avez pas besoin de vous appuyer sur des API fermées pour disposer de votre propre assistant en science des données !

Comment fonctionne DeepAnalyze ? Analyse technique

L'innovation de DeepAnalyze réside dans sonFormation des agents basée sur un programme d'études(Formation agentique basée sur le curriculum) etSynthèse de trajectoire guidée par les donnéesTechnologie :

🧠 Cinq actions d'interaction essentielles

DeepAnalyze fonctionne de manière autonome grâce à cinq balises d'action spéciales :

• ⟨Analyze⟩Analyse et planification : Analyse et planification
• ⟨Understand⟩Comprendre les structures de données
• ⟨Code⟩Générer le code d'analyse des données
• ⟨Execute⟩: Exécutez le code et obtenez le résultat
• ⟨Answer⟩Rapport final : Générer un rapport final

Ces actions permettent à DeepAnalyze d'agir comme un être humainRéfléchir, agir, réagirL'objectif est d'optimiser en permanence le processus d'analyse.

📚 Méthodes de formation basées sur des cours

DeepAnalyze utilise une stratégie de formation "du plus simple au plus complexe" :

1. Réglage fin à capacité uniqueLes compétences de base : Acquérir d'abord les compétences de base (par exemple, la compréhension des données, la génération de code).
2. Formation polyvalente des agentsApprendre à combiner des compétences multiples pour résoudre des problèmes complexes
3. Optimisation de l'apprentissage renforcéAmélioration continue de la prise de décision dans des environnements réels

Cette méthode d'apprentissage résout le problème de la "rareté des récompenses" de la LLM traditionnelle dans les tâches de données complexes et permet au modèle d'apprendre véritablement à "penser comme un scientifique des données".

Comment déployer DeepAnalyze : un tutoriel pratique

📦 Préparatifs

1. Clonage de la base de code: :

git clone https://github.com/ruc-datalab/DeepAnalyze.git
cd DeepAnalyze

2. Créer un environnement virtuel: :

conda create -n deepanalyze python=3.12 -y
conda activate deepanalyze

3. Installation des dépendances: :

pip install -r requirements.txt
Dépendances de la formation #
(cd . /deepanalyze/ms-swift/ && pip install -e .)
(cd . /deepanalyze/SkyRL/ && pip install -e .)

🚀 Modèle de déploiement

1. Télécharger les modèles: :

• DeepAnalyze-8B est disponible en téléchargement direct.
• ou affiné sur la base de DeepSeek-R1-0528-Qwen3-8B

1. Démarrage des services: :

cd demo/chat
npm install
cd .
bash start.sh

3. interface d'accès: :

• Ouvrez votre navigateur pour accéder à http://localhost:4000
• Téléchargement des fichiers de données et saisie des instructions d'analyse

🌐 Méthodes d'appel API

Vous pouvez également l'intégrer dans votre propre système via l'API :

python demo/backend.py

Utilisez ensuite curl pour tester l'API :

curl -X POST http://localhost:8200/chat/completions \N -H "Content-Type : application/json" \N
-H "Content-Type : application/json" \N
-d '{"messages" : [{"role" : "user", "content" : "Generate a data science report."}], "workspace" : "example/student_loan/"}'

Générer un rapport professionnel en trois étapes

Examinons un scénario d'utilisation réel :

1. Préparer les données: Placez les fichiers de données à analyser dans le répertoire de travail (par ex.exemple/prêt_étudiant/)
2. Soumission des mandats: :

from deepanalyze import DeepAnalyzeVLLM

prompt = """# Instruction
Générer un rapport de science des données.

Données #
Fichier 1 : {"name" : "bool.xlsx", "size" : "4.8KB"}
Fichier 2 : {"name" : "person.csv", "size" : "10.6KB"}
... (plus de descriptions de fichiers)""""

workspace = "/path/to/your/workspace" (espace de travail)
deepanalyze = DeepAnalyzeVLLM("path/to/DeepAnalyze-8B/")
answer = deepanalyze.generate(prompt, workspace=workspace)

3. Obtenir des résultats: :

• Vous obtiendrez une liste deGraphiques professionnels, analyses statistiques et conseils aux entrepriseset le rapport complet du Comité pour l'élimination de la discrimination à l'égard des femmes
• Prise en charge de l'exportation au format PDF pour une utilisation directe dans les rapports

Pourquoi choisir DeepAnalyze ?

Adopter la nouvelle ère de la science des données autonome

DeepAnalyze représente une nouvelle orientation dans le domaine de la science des données.Du flux de travail à l'autonomie de l'IA. Ce n'est pas seulement un outil, c'est votreÉquipe de science des données en ligne 24 heures sur 24Vous êtes capable de comprendre les besoins de votre entreprise et de vous approprier des tâches complexes d'analyse de données.

🌟 action immédiate: Accès Dépôt GitHub Obtenez le code complet et les tutoriels et commencez votre voyage vers l'analyse autonome des données dès aujourd'hui !