форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы Программирование под UNIX (Public)
Изначальное сообщение		[ Отслеживать ]

"C/C++ 64bit. Глюк при сравнении чисел"

Сообщение от yerdna (ok) on 24-Ноя-08, 05:19

Есть код на Си который загружает файл (большие 1,2,3 гигабайта) в память. ..... char * buffer; size_t lSize, result; pFile = fopen ( file , "rb" ); fseek (pFile , 0 , SEEK_END); lSize = ftell (pFile); rewind (pFile); buffer = (char*) malloc (sizeof(char)*lSize); result = fread (buffer,1,lSize,pFile); if ( result !=  lSize) {fputs ("Reading error\n",stderr); } ..... После загрузки, проверяю сколько было прочитано в память (result=fread)  с самим размером файла (lSize). Что получается, если размер файла до 2гиг, то if ( result !=  lSize) условие ИСТИНО, если больше 2 гиг то нет, хотя result и lSize всегда равны, смотрел через printf. И совсем как такое может быть, если в двух переменных одинаковые числа, а if говорит false? Кто знает как с этим бороться ? Буду очень признателен за помощь! Система: FreeBSD 7.0-RELEASE-p5 gcc version 4.2.1 20070719

Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "C/C++ 64bit. Глюк при сравнении чисел"

Сообщение от vic (??) on 24-Ноя-08, 14:13

>buffer = (char*) malloc (sizeof(char)*lSize); тут бы if (!buffer) perror(""); все проверки всех действий сделаны, везде? >result = fread (buffer,1,lSize,pFile); по ману fread надо еще проверять ошибку и конец файла через feof(), ferror() если выше в malloc() для чаров sizeof() делаем, то и тут sizeof(char) для единообразия писать надо вместо 1  :) >if ( result !=  lSize) {fputs ("Reading error\n",stderr); } по мелочи: fprintf(stderr,""); // уже идиома, не цепляет глаз и читается проще чем fputs() + strace(), dbg, так же обратить внимание на ключи оптимизации и т.п. а то сравнение не работающее для одиноковых чисел - вроде смахивает на убитый стек.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	2. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от yerdna (ok) on 25-Ноя-08, 00:43
	Vic спасибо за внимание. >тут бы if (!buffer) perror(""); >все проверки всех действий сделаны, везде? Да, просто не стал засарять форум. >по ману fread надо еще проверять ошибку и конец файла через feof(), Говорит что конец файла не достигнут, хотя на самом деле он все считал в память. >ferror() ошибок нет. >если выше в malloc() для чаров sizeof() делаем, то и тут sizeof(char) >для единообразия писать надо вместо 1  :) Учту. >по мелочи: fprintf(stderr,""); // уже идиома, не цепляет глаз и читается проще >чем fputs() Тоже учту >+ strace(), dbg, так же обратить внимание на ключи оптимизации и т.п. >а то сравнение не работающее для одиноковых чисел - вроде смахивает >на убитый стек. Strace работает только на i386 у меня ядро amd64. dbg запускал, но только ничего не нашел, наверно я неумют ею пользоваться. Я забыл написать, что система у меня 64битная. (freebsd amd64) Сегодня когда выводил через printf числа, указал формат %lu и вот что получилось lSize  = 2205089792 result = 18446744071619674112 а когда указываю формат %u ,то в обеих 2205089792 Может есть какие-то идеи?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	3. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от angra (ok) on 25-Ноя-08, 01:16
	Есть мысль что вам нужно прочитать наконец про машинное представление чисел, особенно знаковых.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от vic (??) on 25-Ноя-08, 14:07
	>Есть мысль что вам нужно прочитать наконец про машинное представление чисел, особенно >знаковых. И включить -Wall чтобы gcc на printf() вываливал варнинг по поводу несоответствия спецификатора и типа выводимого значения. Помогает даже если в курсе, но случайно ошибся :)
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от vic (??) on 25-Ноя-08, 14:14
	>Может есть какие-то идеи? посмотреть sizeof(size_t), sizeof(off_t) и почитать про включение поддержки больших файлов для freebsd, а то если они 8 байт (так скорее всего и есть), то больше 2ГБ ну никак :)
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	6. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от SunRock on 26-Ноя-08, 22:56
	>посмотреть sizeof(size_t), sizeof(off_t) >а то если они 8 байт (так скорее всего и есть), то больше 2ГБ ну никак :) 8589934592 GB математик хренов :)
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	7. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от vic (??) on 27-Ноя-08, 14:21
	>>посмотреть sizeof(size_t), sizeof(off_t) >>а то если они 8 байт (так скорее всего и есть), то больше 2ГБ ну никак :) > >8589934592 GB математик хренов :) в хренах именно столько
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	8. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от vic (??) on 27-Ноя-08, 14:40
	>>>посмотреть sizeof(size_t), sizeof(off_t) >>>а то если они 8 байт (так скорее всего и есть), то больше 2ГБ ну никак :) >> >>8589934592 GB математик хренов :) > >в хренах именно столько в том смысле что если они не 8, а 4 байта, я ступил =)
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	10. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от Michelnok (??) on 28-Ноя-08, 03:08
	> >Я забыл написать, что система у меня 64битная. (freebsd amd64) >Сегодня когда выводил через printf числа, указал формат %lu и вот что >получилось >lSize  = 2205089792 >result = 18446744071619674112 >а когда указываю формат %u ,то в обеих 2205089792 > >Может есть какие-то идеи? Количество считанных из файла байт потрясает. Дайте мне два таких винта :) Переменные типа size_t выводи с форматом %zu
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "C/C++ 64bit. Глюк при сравнении чисел"

Сообщение от Michelnok (??) on 28-Ноя-08, 02:58

>size_t lSize, result; >... >lSize = ftell (pFile); Попробуй еще off_t lSize; ... lSize = ftello (pFile);

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	11. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от yerdna (ok) on 28-Ноя-08, 12:05
	>>size_t lSize, result; >>... >>lSize = ftell (pFile); > >Попробуй еще > >off_t lSize; >... >lSize = ftello (pFile); Пробывал, ничего не изменилось. >Количество считанных из файла байт потрясает. Дайте мне два таких винта :) >Переменные типа size_t выводи с форматом %zu И при таком раскладе все тоже самое result = 18446744071619674112 >И включить -Wall чтобы gcc на printf() вываливал варнинг по поводу несоответствия >спецификатора и типа выводимого значения. Все соответствует, Wall молчит как рыба. ---------- Повторюсь: все работает так как надо, ошибки не выскакивают, то что я загрузил в память я потом с легкостью записываю обратно на винт, без всяких потерь данных. Просто выскакивает такой глюк, если размер файла больше ~2гиг. Единственный минус, так это то, что нельзя проверить сколько он считал. Но как вариант я уже думаю просто форматировать result через sprintf c %u. Кстати где-то вычитал, что feof() в таком месте не будет работать в любом случаи. Весь инет облазил, толком ничего и не нашел как исправить этот глюк с fread.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	12. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от vic (??) on 28-Ноя-08, 14:29
	>[оверквотинг удален] >>>... >>>lSize = ftell (pFile); >> >>Попробуй еще >> >>off_t lSize; >>... >>lSize = ftello (pFile); > >Пробывал, ничего не изменилось. fseeko() & ftello() одновременно, одного не достаточно (ессно с off_t). тип фс? для теста что будет если ручками в шелле создать файл >2GB и скопировать его? т.к. у вас фря, а у меня линукс, проверить я на коленке ничего не могу, но могу посмотреть ман для фри выложенный на опеннет, вижу что возвращаемое/устанавливаемое значение оффсета имеет тип long (возможно ман на опеннете безнадежно устарел), а не size_t. off_t судя по замечаниям в других манах (для lseek русский ман здесь же на опеннете) может быть int (4 byte, !8 byte), а lseek используется в fseek. Т.е. необходимо с файлами более 2 ГБ очень аккуратным. где-то все же ошибка у нас с вами, даже если кажется что считывается все вроде бы правильно... переменная errno после каждой операции проверяется?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	13. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от Michelnok (??) on 28-Ноя-08, 16:03
	> но могу посмотреть ман для фри выложенный на опеннет В этом отношении с FreeBSD хорошо: http://www.freebsd.org/cgi/man.cgi
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	14. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от Michelnok (??) on 28-Ноя-08, 16:13
	>>Переменные типа size_t выводи с форматом %zu > >И при таком раскладе все тоже самое >result = 18446744071619674112 Если это действительно сразу после fread (т.е. ты совсем ничего не делаешь с result), то похоже таки на ошибку в libc. Точнее, в твоей ее версии.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	15. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от yerdna (ok) on 28-Ноя-08, 21:24
	Наконец-то выяснил в чем проблема!) Конечно же не без вашей помощи, всем спасибо, особенно Michelnok и vic!!! Рассказываю в чем проблема: >Если это действительно сразу после fread (т.е. ты совсем ничего не делаешь >с result), то похоже таки на ошибку в libc. Точнее, в >твоей ее версии. После этого поста, я решил проверить, что же на самом деле делает fread. Открыл /usr/src/lib/libc/stdio/fread.c и что я вижу ......... size_t fread(void * __restrict buf, size_t size, size_t count, FILE * __restrict fp) {         int ret; //ВНИМАНИЕ СЮДА         FLOCKFILE(fp);         ret = __fread(buf, size, count, fp);         FUNLOCKFILE(fp);         return (ret); //ВНИМАНИЕ СЮДА } size_t __fread(void * __restrict buf, size_t size, size_t count, FILE * __restrict fp) {         size_t resid;         char *p;         int r; //ВНИМАНИЕ СЮДА         size_t total;         /*          * The ANSI standard requires a return value of 0 for a count          * or a size of 0.  Peculiarily, it imposes no such requirements          * on fwrite; it only requires fread to be broken.          */         if ((resid = count * size) == 0) .........         while (resid > (r = fp->_r)) {                 (void)memcpy((void *)p, (void *)fp->_p, (size_t)r);                 fp->_p += r;                 /* fp->_r = 0 ... done in __srefill */                 p += r;                 resid -= r; //ВНИМАНИЕ СЮДА                 if (__srefill(fp)) {                         /* no more input: return partial result */                         return ((total - resid) / size);                 }         } .........         return (count); } ----------------------- что функция возвращает переменную типа int, ХОТЯ в функции объявленно, что возвращаем тип size_t, отсюда понятно почему файлы больше 2гиг, а это больше 2 147 483 648, возвращал что-то страшное. После исправления int на size_t, все заработало. Често говоря, я удивлен, что разработчики freebsd допустили такую ошибку(size_t -> int).
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	16. "C/C++ 64bit. Глюк при сравнении чисел"
	Сообщение от Michelnok (??) on 28-Ноя-08, 22:01
	>[оверквотинг удален] >        int ret; //ВНИМАНИЕ СЮДА > > >        FLOCKFILE(fp); >        ret = __fread(buf, size, >count, fp); >        FUNLOCKFILE(fp); >        return (ret); //ВНИМАНИЕ СЮДА > >} Ужас.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]