Como obter o uso atual da CPU e RAM no Python?

Qual é a sua maneira preferida de obter o status atual do sistema (CPU atual, RAM, espaço livre em disco etc.) no Python? Pontos de bônus para as plataformas * nix e Windows.

Parece haver algumas maneiras possíveis de extrair isso da minha pesquisa:

1. Usando uma biblioteca como PSI (que atualmente não parece ativamente desenvolvida e não é suportada em várias plataformas) ou algo como pystatgrab (novamente nenhuma atividade desde 2007 parece e nenhum suporte para o Windows).

2. Usando código específico da plataforma, como a os.popen("ps")ou similar para os sistemas * nix e MEMORYSTATUSem ctypes.windll.kernel32(consulte esta receita no ActiveState ) para a plataforma Windows. Pode-se montar uma classe Python com todos esses trechos de código.

Não é que esses métodos sejam ruins, mas já existe uma maneira bem suportada e multiplataforma de fazer a mesma coisa?

A biblioteca psutil fornece informações sobre CPU, RAM etc. em várias plataformas:

O psutil é um módulo que fornece uma interface para recuperar informações sobre processos em execução e utilização do sistema (CPU, memória) de maneira portátil, usando Python, implementando muitas funcionalidades oferecidas por ferramentas como ps, top e gerenciador de tarefas do Windows.

Atualmente, ele suporta Linux, Windows, OSX, Sun Solaris, FreeBSD, OpenBSD e NetBSD, arquiteturas de 32 e 64 bits, com versões em Python de 2.6 a 3.5 (os usuários de Python 2.4 e 2.5 podem usar a versão 2.1.3).

Alguns exemplos:

#!/usr/bin/env python
import psutil
# gives a single float value
psutil.cpu_percent()
# gives an object with many fields
psutil.virtual_memory()
# you can convert that object to a dictionary 
dict(psutil.virtual_memory()._asdict())
# you can have the percentage of used RAM
psutil.virtual_memory().percent
79.2
# you can calculate percentage of available memory
psutil.virtual_memory().available * 100 / psutil.virtual_memory().total
20.8

Aqui está outra documentação que fornece mais conceitos e conceitos de interesse:

• https://psutil.readthedocs.io/en/latest/

Use a biblioteca psutil . No Ubuntu 18.04, o pip instalou o 5.5.0 (versão mais recente) a partir de 30/01/2019. As versões mais antigas podem se comportar de maneira um pouco diferente. Você pode verificar sua versão do psutil fazendo isso no Python:

from __future__ import print_function  # for Python2
import psutil
print(psutil.__versi‌​on__)

Para obter algumas estatísticas de memória e CPU:

from __future__ import print_function
import psutil
print(psutil.cpu_percent())
print(psutil.virtual_memory())  # physical memory usage
print('memory % used:', psutil.virtual_memory()[2])

A virtual_memory(tupla) terá a porcentagem de memória usada em todo o sistema. Isso pareceu ter sido superestimado em alguns por cento para mim no Ubuntu 18.04.

Você também pode obter a memória usada pela instância atual do Python:

import os
import psutil
pid = os.getpid()
py = psutil.Process(pid)
memoryUse = py.memory_info()[0]/2.**30  # memory use in GB...I think
print('memory use:', memoryUse)

que fornece o uso atual da memória do seu script Python.

Existem alguns exemplos mais detalhados na página pypi para psutil .

Somente para Linux: One-liner para uso de RAM com apenas dependência stdlib:

import os
tot_m, used_m, free_m = map(int, os.popen('free -t -m').readlines()[-1].split()[1:])

editar: dependência do SO da solução especificada

Os códigos abaixo, sem bibliotecas externas, funcionaram para mim. Eu testei no Python 2.7.9

Utilização do CPU

import os

    CPU_Pct=str(round(float(os.popen('''grep 'cpu ' /proc/stat | awk '{usage=($2+$4)*100/($2+$4+$5)} END {print usage }' ''').readline()),2))

    #print results
    print("CPU Usage = " + CPU_Pct)

E uso de RAM, total, usado e gratuito

import os
mem=str(os.popen('free -t -m').readlines())
"""
Get a whole line of memory output, it will be something like below
['             total       used       free     shared    buffers     cached\n', 
'Mem:           925        591        334         14         30        355\n', 
'-/+ buffers/cache:        205        719\n', 
'Swap:           99          0         99\n', 
'Total:        1025        591        434\n']
 So, we need total memory, usage and free memory.
 We should find the index of capital T which is unique at this string
"""
T_ind=mem.index('T')
"""
Than, we can recreate the string with this information. After T we have,
"Total:        " which has 14 characters, so we can start from index of T +14
and last 4 characters are also not necessary.
We can create a new sub-string using this information
"""
mem_G=mem[T_ind+14:-4]
"""
The result will be like
1025        603        422
we need to find first index of the first space, and we can start our substring
from from 0 to this index number, this will give us the string of total memory
"""
S1_ind=mem_G.index(' ')
mem_T=mem_G[0:S1_ind]
"""
Similarly we will create a new sub-string, which will start at the second value. 
The resulting string will be like
603        422
Again, we should find the index of first space and than the 
take the Used Memory and Free memory.
"""
mem_G1=mem_G[S1_ind+8:]
S2_ind=mem_G1.index(' ')
mem_U=mem_G1[0:S2_ind]

mem_F=mem_G1[S2_ind+8:]
print 'Summary = ' + mem_G
print 'Total Memory = ' + mem_T +' MB'
print 'Used Memory = ' + mem_U +' MB'
print 'Free Memory = ' + mem_F +' MB'

Aqui está uma coisa que eu montei há um tempo atrás: são apenas janelas, mas podem ajudá-lo a fazer parte do que você precisa fazer.

Derivado de: "para sys mem disponível" http://msdn2.microsoft.com/en-us/library/aa455130.aspx

"informações de processos individuais e exemplos de scripts python" http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true

NOTA: a interface / processo WMI também está disponível para executar tarefas semelhantes. Não o estou usando aqui porque o método atual cobre minhas necessidades, mas se algum dia for necessário estender ou melhorar isso, talvez você queira investigar as ferramentas WMI disponíveis. .

WMI para python:

http://tgolden.sc.sabren.com/python/wmi.html

O código:

'''
Monitor window processes

derived from:
>for sys available mem
http://msdn2.microsoft.com/en-us/library/aa455130.aspx

> individual process information and python script examples
http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true

NOTE: the WMI interface/process is also available for performing similar tasks
        I'm not using it here because the current method covers my needs, but if someday it's needed
        to extend or improve this module, then may want to investigate the WMI tools available.
        WMI for python:
        http://tgolden.sc.sabren.com/python/wmi.html
'''

__revision__ = 3

import win32com.client
from ctypes import *
from ctypes.wintypes import *
import pythoncom
import pywintypes
import datetime


class MEMORYSTATUS(Structure):
    _fields_ = [
                ('dwLength', DWORD),
                ('dwMemoryLoad', DWORD),
                ('dwTotalPhys', DWORD),
                ('dwAvailPhys', DWORD),
                ('dwTotalPageFile', DWORD),
                ('dwAvailPageFile', DWORD),
                ('dwTotalVirtual', DWORD),
                ('dwAvailVirtual', DWORD),
                ]


def winmem():
    x = MEMORYSTATUS() # create the structure
    windll.kernel32.GlobalMemoryStatus(byref(x)) # from cytypes.wintypes
    return x    


class process_stats:
    '''process_stats is able to provide counters of (all?) the items available in perfmon.
    Refer to the self.supported_types keys for the currently supported 'Performance Objects'

    To add logging support for other data you can derive the necessary data from perfmon:
    ---------
    perfmon can be run from windows 'run' menu by entering 'perfmon' and enter.
    Clicking on the '+' will open the 'add counters' menu,
    From the 'Add Counters' dialog, the 'Performance object' is the self.support_types key.
    --> Where spaces are removed and symbols are entered as text (Ex. # == Number, % == Percent)
    For the items you wish to log add the proper attribute name in the list in the self.supported_types dictionary,
    keyed by the 'Performance Object' name as mentioned above.
    ---------

    NOTE: The 'NETFramework_NETCLRMemory' key does not seem to log dotnet 2.0 properly.

    Initially the python implementation was derived from:
    http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true
    '''
    def __init__(self,process_name_list=[],perf_object_list=[],filter_list=[]):
        '''process_names_list == the list of all processes to log (if empty log all)
        perf_object_list == list of process counters to log
        filter_list == list of text to filter
        print_results == boolean, output to stdout
        '''
        pythoncom.CoInitialize() # Needed when run by the same process in a thread

        self.process_name_list = process_name_list
        self.perf_object_list = perf_object_list
        self.filter_list = filter_list

        self.win32_perf_base = 'Win32_PerfFormattedData_'

        # Define new datatypes here!
        self.supported_types = {
                                    'NETFramework_NETCLRMemory':    [
                                                                        'Name',
                                                                        'NumberTotalCommittedBytes',
                                                                        'NumberTotalReservedBytes',
                                                                        'NumberInducedGC',    
                                                                        'NumberGen0Collections',
                                                                        'NumberGen1Collections',
                                                                        'NumberGen2Collections',
                                                                        'PromotedMemoryFromGen0',
                                                                        'PromotedMemoryFromGen1',
                                                                        'PercentTimeInGC',
                                                                        'LargeObjectHeapSize'
                                                                     ],

                                    'PerfProc_Process':              [
                                                                          'Name',
                                                                          'PrivateBytes',
                                                                          'ElapsedTime',
                                                                          'IDProcess',# pid
                                                                          'Caption',
                                                                          'CreatingProcessID',
                                                                          'Description',
                                                                          'IODataBytesPersec',
                                                                          'IODataOperationsPersec',
                                                                          'IOOtherBytesPersec',
                                                                          'IOOtherOperationsPersec',
                                                                          'IOReadBytesPersec',
                                                                          'IOReadOperationsPersec',
                                                                          'IOWriteBytesPersec',
                                                                          'IOWriteOperationsPersec'     
                                                                      ]
                                }

    def get_pid_stats(self, pid):
        this_proc_dict = {}

        pythoncom.CoInitialize() # Needed when run by the same process in a thread
        if not self.perf_object_list:
            perf_object_list = self.supported_types.keys()

        for counter_type in perf_object_list:
            strComputer = "."
            objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
            objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")

            query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
            colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread        

            if len(colItems) > 0:        
                for objItem in colItems:
                    if hasattr(objItem, 'IDProcess') and pid == objItem.IDProcess:

                            for attribute in self.supported_types[counter_type]:
                                eval_str = 'objItem.%s' % (attribute)
                                this_proc_dict[attribute] = eval(eval_str)

                            this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
                            break

        return this_proc_dict      


    def get_stats(self):
        '''
        Show process stats for all processes in given list, if none given return all processes   
        If filter list is defined return only the items that match or contained in the list
        Returns a list of result dictionaries
        '''    
        pythoncom.CoInitialize() # Needed when run by the same process in a thread
        proc_results_list = []
        if not self.perf_object_list:
            perf_object_list = self.supported_types.keys()

        for counter_type in perf_object_list:
            strComputer = "."
            objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
            objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")

            query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
            colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread

            try:  
                if len(colItems) > 0:
                    for objItem in colItems:
                        found_flag = False
                        this_proc_dict = {}

                        if not self.process_name_list:
                            found_flag = True
                        else:
                            # Check if process name is in the process name list, allow print if it is
                            for proc_name in self.process_name_list:
                                obj_name = objItem.Name
                                if proc_name.lower() in obj_name.lower(): # will log if contains name
                                    found_flag = True
                                    break

                        if found_flag:
                            for attribute in self.supported_types[counter_type]:
                                eval_str = 'objItem.%s' % (attribute)
                                this_proc_dict[attribute] = eval(eval_str)

                            this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
                            proc_results_list.append(this_proc_dict)

            except pywintypes.com_error, err_msg:
                # Ignore and continue (proc_mem_logger calls this function once per second)
                continue
        return proc_results_list     


def get_sys_stats():
    ''' Returns a dictionary of the system stats'''
    pythoncom.CoInitialize() # Needed when run by the same process in a thread
    x = winmem()

    sys_dict = { 
                    'dwAvailPhys': x.dwAvailPhys,
                    'dwAvailVirtual':x.dwAvailVirtual
                }
    return sys_dict


if __name__ == '__main__':
    # This area used for testing only
    sys_dict = get_sys_stats()

    stats_processor = process_stats(process_name_list=['process2watch'],perf_object_list=[],filter_list=[])
    proc_results = stats_processor.get_stats()

    for result_dict in proc_results:
        print result_dict

    import os
    this_pid = os.getpid()
    this_proc_results = stats_processor.get_pid_stats(this_pid)

    print 'this proc results:'
    print this_proc_results

http://monkut.webfactional.com/blog/archive/2009/1/21/windows-process-memory-logging-python

Optamos por usar a fonte de informações usual para isso, porque pudemos encontrar flutuações instantâneas na memória livre e achamos útil consultar a fonte de dados do meminfo . Isso também nos ajudou a obter mais alguns parâmetros relacionados que foram pré-analisados.

Código

import os

linux_filepath = "/proc/meminfo"
meminfo = dict(
    (i.split()[0].rstrip(":"), int(i.split()[1]))
    for i in open(linux_filepath).readlines()
)
meminfo["memory_total_gb"] = meminfo["MemTotal"] / (2 ** 20)
meminfo["memory_free_gb"] = meminfo["MemFree"] / (2 ** 20)
meminfo["memory_available_gb"] = meminfo["MemAvailable"] / (2 ** 20)

Saída para referência (removemos todas as novas linhas para análise posterior)

MemTotal: 1014500 kB MemFree: 562680 kB MemDisponível: 646364 kB Buffers: 15144 kB Em cache: 210720 kB SwapCached: 0 kB Ativo: 261476 kB Inativo: 128888 kB Ativo (anon): 167092 kB Inativo (anon): 20888 kB Ativo (arquivo) : 94384 kB Inativo (arquivo): 108000 kB Inevitável: 3652 kB Mlocked: 3652 kB SwapTotal: 0 kB SwapFree: 0 kB Sujo: 0 kB Writeback: 0 kB AnonPages: 168160 kB Mapeado: 81352 kB Shmem: 21060 kB Slab: 34492 kB SReclaimable: 18044 kB SUnreclaim: 16448 kB KernelStack: 2672 kB PageTables: 8180 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 507248 kB Committed_AS: 1038756 kmall VmallocTotal: 343597387 0 kB AnonHugePáginas: 88064 kB CmaTotal: 0 kB CmaFree: 0 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize:2048 kB DirectMap4k: 43008 kB DirectMap2M: 1005568 kB

Sinto que essas respostas foram escritas para o Python 2 e, de qualquer forma, ninguém mencionou o resourcepacote padrão disponível para o Python 3. Ele fornece comandos para obter os limites de recursos de um determinado processo (o processo de chamada do Python por padrão). Isso não é o mesmo que obter o uso atual dos recursos pelo sistema como um todo, mas pode resolver alguns dos mesmos problemas, como por exemplo: "Quero ter certeza de usar apenas muita memória X com esse script".

"... status atual do sistema (CPU atual, RAM, espaço livre em disco etc.)" "E" * nix e plataformas Windows "podem ser uma combinação difícil de alcançar.

Os sistemas operacionais são fundamentalmente diferentes na maneira como gerenciam esses recursos. De fato, eles diferem nos conceitos principais, como definir o que conta como sistema e o que conta como tempo de aplicação.

"Espaço livre em disco"? O que conta como "espaço em disco?" Todas as partições de todos os dispositivos? E as partições estrangeiras em um ambiente de inicialização múltipla?

Eu não acho que exista um consenso claro o suficiente entre o Windows e o * nix que torne isso possível. De fato, pode não haver nenhum consenso entre os vários sistemas operacionais chamados Windows. Existe uma única API do Windows que funcione no XP e no Vista?

Este script para uso da CPU:

import os

def get_cpu_load():
    """ Returns a list CPU Loads"""
    result = []
    cmd = "WMIC CPU GET LoadPercentage "
    response = os.popen(cmd + ' 2>&1','r').read().strip().split("\r\n")
    for load in response[1:]:
       result.append(int(load))
    return result

if __name__ == '__main__':
    print get_cpu_load()

• Para detalhes da CPU, use a biblioteca psutil

  https://psutil.readthedocs.io/en/latest/#cpu

• Para Frequência de RAM (em MHz), use a biblioteca Linux integrada dmidecode e manipule um pouco a saída;). este comando precisa de permissão root, portanto, forneça sua senha também. basta copiar o seguinte comentário substituindo mypass por sua senha

import os

os.system("echo mypass | sudo -S dmidecode -t memory | grep 'Clock Speed' | cut -d ':' -f2")

------------------- Saída ---------------------------
1600 MT / s
Desconhecido
1600 MT / s
Desconhecido 0

• mais especificamente
  [i for i in os.popen("echo mypass | sudo -S dmidecode -t memory | grep 'Clock Speed' | cut -d ':' -f2").read().split(' ') if i.isdigit()]

-------------------------- resultado ----------------------- -
['1600', '1600']

Para obter uma memória linha por linha e análise de tempo do seu programa, sugiro usar memory_profilere line_profiler.

Instalação:

# Time profiler
$ pip install line_profiler
# Memory profiler
$ pip install memory_profiler
# Install the dependency for a faster analysis
$ pip install psutil

A parte comum é que você especifica qual função deseja analisar usando os respectivos decoradores.

Exemplo: Eu tenho várias funções no meu arquivo Python main.pyque desejo analisar. Um deles é linearRegressionfit(). Preciso usar o decorador @profileque me ajuda a traçar o código no que diz respeito a: Tempo e memória.

Faça as seguintes alterações na definição da função

@profile
def linearRegressionfit(Xt,Yt,Xts,Yts):
    lr=LinearRegression()
    model=lr.fit(Xt,Yt)
    predict=lr.predict(Xts)
    # More Code

Para criação de perfil de tempo ,

Corre:

$ kernprof -l -v main.py

Resultado

Total time: 0.181071 s
File: main.py
Function: linearRegressionfit at line 35

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
    35                                           @profile
    36                                           def linearRegressionfit(Xt,Yt,Xts,Yts):
    37         1         52.0     52.0      0.1      lr=LinearRegression()
    38         1      28942.0  28942.0     75.2      model=lr.fit(Xt,Yt)
    39         1       1347.0   1347.0      3.5      predict=lr.predict(Xts)
    40                                           
    41         1       4924.0   4924.0     12.8      print("train Accuracy",lr.score(Xt,Yt))
    42         1       3242.0   3242.0      8.4      print("test Accuracy",lr.score(Xts,Yts))

Para perfil de memória ,

Corre:

$ python -m memory_profiler main.py

Resultado

Filename: main.py

Line #    Mem usage    Increment   Line Contents
================================================
    35  125.992 MiB  125.992 MiB   @profile
    36                             def linearRegressionfit(Xt,Yt,Xts,Yts):
    37  125.992 MiB    0.000 MiB       lr=LinearRegression()
    38  130.547 MiB    4.555 MiB       model=lr.fit(Xt,Yt)
    39  130.547 MiB    0.000 MiB       predict=lr.predict(Xts)
    40                             
    41  130.547 MiB    0.000 MiB       print("train Accuracy",lr.score(Xt,Yt))
    42  130.547 MiB    0.000 MiB       print("test Accuracy",lr.score(Xts,Yts))

Além disso, os resultados do perfilador de memória também podem ser plotados usando o matplotlibuso de

$ mprof run main.py
$ mprof plot

Nota: Testado em

line_profiler version == 3.0.2

memory_profiler version == 0.57.0

psutil version == 5.7.0

Você pode usar psutil ou psmem com código de exemplo de subprocesso

import subprocess
cmd =   subprocess.Popen(['sudo','./ps_mem'],stdout=subprocess.PIPE,stderr=subprocess.PIPE) 
out,error = cmd.communicate() 
memory = out.splitlines()

Referência http://techarena51.com/index.php/how-to-install-python-3-and-flask-on-linux/

https://github.com/Leo-g/python-flask-cmd

Com base no código de uso da CPU por @Hrabal, é isso que eu uso:

from subprocess import Popen, PIPE

def get_cpu_usage():
    ''' Get CPU usage on Linux by reading /proc/stat '''

    sub = Popen(('grep', 'cpu', '/proc/stat'), stdout=PIPE, stderr=PIPE)
    top_vals = [int(val) for val in sub.communicate()[0].split('\n')[0].split[1:5]]

    return (top_vals[0] + top_vals[2]) * 100. /(top_vals[0] + top_vals[2] + top_vals[3])

Não acredito que exista uma biblioteca multiplataforma bem suportada disponível. Lembre-se de que o próprio Python é escrito em C; portanto, qualquer biblioteca simplesmente tomará uma decisão inteligente sobre qual trecho de código específico do SO executar, como sugerido acima.