Почему чтение строк из stdin в C++ гораздо медленнее, чем в Python?

getline, операторы потоков и scanf могут быть удобны, если вам не важна скорость загрузки файла или если вы загружаете небольшие текстовые файлы. Но, если производительность для вас имеет значение, лучше всего загрузить весь файл в память (при условии, что он помещается).

Вот пример:

// открываем файл в двоичном режиме
std::fstream file(filename, std::ios::in | std::ios::binary);
if (!file) return NULL;

// читаем размер...
file.seekg(0, std::ios::end);
size_t length = (size_t)file.tellg();
file.seekg(0, std::ios::beg);

// читаем в буфер памяти, затем закрываем его.
char *filebuf = new char[length + 1];
file.read(filebuf, length);
filebuf[length] = '\0'; // делаем его нуль-терминированным
file.close();

Если хотите, можете обернуть поток вокруг этого буфера для более удобного доступа, как вот здесь:

std::istrstream header(&filebuf[0], length);

Кроме того, если у вас есть контроль над форматом файла, рассмотрите возможность использования плоского бинарного формата вместо текстового. Это более надежный способ чтения и записи, поскольку вам не придется иметь дело со всеми неопределенностями, связанными с пробелами. Он также меньше по размеру и гораздо быстрее в обработке.

Причина, по которой количество строк в версии на C++ на одну больше, чем в версии на Python, заключается в том, что флаг eof устанавливается только при попытке считывания за пределами конца файла. Поэтому правильный цикл будет выглядеть так:

while (cin) {
    getline(cin, input_line);

    if (!cin.eof())
        line_count++;
};

В вашем втором примере (с использованием scanf()) причиной, по которой это всё ещё медленнее, может быть то, что scanf("%s") разбирает строку и ищет любой символ пробела (пробел, табуляция, символ новой строки).

Кроме того, да, CPython использует некоторый механизм кэширования, чтобы избежать чтения с жесткого диска.

Первый элемент ответа: <iostream> действительно медленный. Черт возьми, как медленный! Я получаю значительный прирост производительности с помощью scanf, как показано ниже, но всё равно это в два раза медленнее, чем Python.

#include <iostream>
#include <time.h>
#include <cstdio>

using namespace std;

int main() {
    char buffer[10000];
    long line_count = 0;
    time_t start = time(NULL);
    int sec;
    int lps;

    int read = 1;
    while(read > 0) {
        read = scanf("%s", buffer);
        line_count++;
    };
    sec = (int) time(NULL) - start;
    line_count--;
    cerr << "Прочитано " << line_count << " строк за " << sec << " секунд." ;
    if (sec > 0) {
        lps = line_count / sec;
        cerr << "  Скорость обработки: " << lps << endl;
    } 
    else
        cerr << endl;
    return 0;
}

Если вам нужно улучшить производительность ввода-вывода в C++, то стоит рассмотреть использование scanf, так как он быстрее, чем стандартные средства ввода из <iostream>. Однако имейте в виду, что в некоторых случаях такие подобные нижние уровни могут быть в два раза медленнее даже, чем интерпретируемые языки, такие как Python.

Ну, я вижу, что во втором решении вы переключились с cin на scanf, что было первым предложением, которое я хотел вам сделать (поскольку cin очень медленный). Теперь, если вы перейдете с scanf на fgets, вы увидите еще одно улучшение производительности: fgets — самая быстрая функция C++ для ввода строк.

Кстати, я не знал про эту синхронизацию, любопытно. Но все равно стоит попробовать fgets.