Fabricio Araujo wrote:

>What was the octet-stream? Windows executables? If so, normally they
>won't compress much, unless they have a lot of resouce stuff (icons,
>tons of menus, bmps)
>
>

They appear to be mostly Word files. I save whatever the browser gives
me for mime type.

I'm afraid images, PDFs, Excel files, zip files, jpegs, and anything
encrypted are a) part of the landscape, and b) compressed because other
people saw the value in compression and beat us there.

I think the solution may be in an adaptable compression scheme that
tries for modest compression when the going is good with enough sense
not to beat its brains out trying to compress the uncompressable. Maybe
somebody's attack this problem. If we recognize that it needs to be
good for:

* Text (including utf-8)
* Non-image parts of Word files (mostly binary)
* Non-compressed parts of PDFs (mostly ascii)

and not worry about the other cases as either solved or unsolvable, we
could come up with a useful compromise.

>>The machine was 768MB 1.3GHz Athlon. The machine while decompressing
>>was, in the venacular, beat to shit.
>>
>>
>
>This is very bad.
>
>

I didn't time the compression process. It was worse than bad.

>
>
>>I'm losing my enthusiasm for compressed blobs. I'm not convinced the
>>big win is there.
>>
>>
>>

If anyone is interested, here are the numbers for Word documents (sorry
about the HTML, guys, but without it, information loss):

SIZE COMPRESSED_SIZE PERCENTAGE
-------- --------------- ----------

23552 1870 7
24064 1780 7
24064 1769 7
24064 1922 7
120320 9312 7
120320 9312 7
24064 1836 7
24064 2134 8
24064 1961 8
24064 2162 8
24064 2162 8
24064 2134 8
24064 2112 8
23552 2094 8
24064 2128 8
23552 2035 8
19968 1765 8
24064 2142 8
90112 7337 8
24064 1927 8
19968 1755 8
23552 2034 8
129024 10600 8
24064 2041 8
24064 2095 8
24064 2063 8
24064 1971 8
24064 2156 8
24064 2118 8
23552 2083 8
24064 2134 8
24064 1979 8
24064 2088 8
23552 1991 8
23552 1992 8
23552 2116 8
23552 2084 8
24064 2118 8
24064 2118 8
24064 2131 8
24064 2131 8
24064 2131 8
24064 2134 8
73216 6312 8
24064 2131 8
24064 2131 8
24064 2134 8
24064 2093 8
24064 2134 8
24064 2131 8
24064 2134 8
24064 2105 8
24064 1937 8
24064 2134 8
50176 4329 8
19456 1646 8
24064 2131 8
24064 2134 8
24064 2134 8
23552 2116 8
24064 2096 8
19456 1699 8
19456 1684 8
24064 2101 8
24064 2190 9
24064 2166 9
24064 2166 9
62976 6173 9
24064 2278 9
24064 2166 9
24064 2243 9
24064 2396 9
24064 2212 9
24064 2166 9
24064 2211 9
24064 2198 9
54784 5064 9
24064 2275 9
24064 2249 9
24576 2229 9
24576 2239 9
24064 2335 9
24576 2286 9
24064 2336 9
56832 5281 9
24064 2312 9
24064 2169 9
24064 2211 9
24064 2207 9
55808 5430 9
24064 2187 9
24064 2184 9
24064 2310 9
33280 3317 9
30720 2868 9
24064 2331 9
24064 2322 9
46080 4470 9
19968 1971 9
24064 2234 9
24064 2225 9
24064 2390 9
24064 2399 9
23552 2128 9
19968 1967 9
24064 2215 9
24064 2245 9
24064 2222 9
24064 2388 9
24064 2177 9
24064 2166 9
24064 2381 9
24064 2328 9
24064 2352 9
24064 2234 9
23552 2150 9
24064 2324 9
24064 2270 9
24064 2280 9
19456 1873 9
24064 2287 9
24064 2397 9
19968 1850 9
24064 2234 9
24064 2234 9
24064 2234 9
24064 2234 9
24064 2234 9
31232 2827 9
19456 1924 9
24064 2266 9
24064 2314 9
24064 2176 9
24576 2438 9
23552 2175 9
24064 2402 9
31232 2827 9
24576 2229 9
24064 2289 9
24064 2290 9
24064 2220 9
24064 2351 9
24064 2313 9
24064 2284 9
24064 2351 9
24064 2267 9
24064 2344 9
24064 2262 9
24064 2257 9
24064 2211 9
24064 2255 9
24064 2216 9
24064 2224 9
24064 2377 9
24064 2240 9
23552 2165 9
24064 2251 9
24064 2169 9
24064 2236 9
19456 1970 10
24576 2579 10
24064 2552 10
24064 2417 10
24064 2482 10
24064 2482 10
24576 2682 10
20480 2220 10
24064 2533 10
34816 3687 10
24064 2478 10
24576 2675 10
24064 2443 10
24064 2416 10
24064 2483 10
24064 2616 10
24576 2579 10
23552 2568 10
24064 2558 10
24064 2432 10
24576 2570 10
43008 4388 10
53760 5901 10
19968 2112 10
28672 3048 10
24576 2641 10
19968 2120 10
24064 2496 10
24064 2570 10
75264 8027 10
24064 2605 10
24064 2512 10
19968 2157 10
32256 3303 10
34304 3689 10
25088 2733 10
24576 2647 10
34816 3610 10
19968 2052 10
24064 2546 10
33280 3499 10
25088 2552 10
34816 3687 10
24064 2438 10
24064 2529 10
24576 2647 10
49152 5015 10
47616 4775 10
45056 4914 10
24064 2506 10
25088 2668 10
24576 2573 10
24064 2608 10
19968 2160 10
49664 5075 10
48128 5134 10
24064 2462 10
24576 2583 10
24576 2665 10
19968 2181 10
24576 2698 10
24064 2599 10
24576 2513 10
24064 2583 10
24064 2460 10
24064 2444 10
24064 2437 10
24064 2460 10
24064 2535 10
24576 2547 10
35221 3625 10
24064 2449 10
24576 2612 10
24064 2441 10
26112 2658 10
24064 2491 10
24064 2557 10
19968 2181 10
24064 2522 10
24064 2490 10
30208 3304 10
24064 2427 10
24064 2623 10
25088 2715 10
24064 2517 10
24064 2609 10
24576 2462 10
24064 2537 10
24064 2640 10
24576 2879 11
24576 2813 11
19968 2348 11
24576 2751 11
47616 5672 11
33280 3955 11
19968 2229 11
19456 2293 11
25088 2989 11
20480 2454 11
25088 2956 11
98304 11709 11
25088 2809 11
20480 2362 11
20480 2341 11
24064 2800 11
19968 2368 11
19456 2175 11
24064 2676 11
19968 2328 11
20992 2333 11
98816 11107 11
35840 4251 11
19968 2206 11
24064 2716 11
29696 3359 11
24576 2796 11
29184 3383 11
25088 2879 11
24576 2863 11
25088 2834 11
43520 4790 11
25088 2769 11
46080 5378 11
35840 4236 11
44544 5161 11
24576 2789 11
20480 2440 11
24064 2860 11
24064 2661 11
19968 2389 11
54272 6445 11
24064 2730 11
61440 7164 11
36864 4061 11
24064 2808 11
30720 3383 11
26112 3077 11
19968 2227 11
25088 2998 11
25088 2792 11
24576 2790 11
23552 2647 11
24576 2799 11
24576 2823 11
32256 3599 11
25088 2834 11
44544 5249 11
35328 3899 11
24576 2881 11
24064 2673 11
20992 2519 11
24064 2764 11
19968 2347 11
24576 2939 11
25088 2831 11
24576 2896 11
24064 2699 11
21504 2521 11
24064 2658 11
19968 2210 11
24064 2711 11
33280 3697 11
25088 2985 11
29184 3385 11
19968 2514 12
25088 3178 12
19968 2591 12
19456 2445 12
19968 2591 12
23552 3057 12
19456 2445 12
19968 2548 12
19968 2537 12
19968 2536 12
24064 3070 12
25600 3217 12
24064 2957 12
24576 2971 12
33280 4014 12
20480 2527 12
28672 3476 12
20480 2527 12
19968 2422 12
25088 3015 12
24064 3022 12
34816 4422 12
24576 3101 12
32768 4138 12
27136 3298 12
25600 3208 12
25088 3053 12
25088 3177 12
24576 3017 12
20992 2686 12
26112 3181 12
25088 3219 12
20480 2469 12
24064 3059 12
27136 3298 12
28672 3525 12
25600 3073 12
19968 2422 12
33280 4142 12
24576 3095 12
19968 2449 12
25600 3117 12
24576 3051 12
25600 3290 12
24576 3099 12
24576 3127 12
26112 3136 12
19968 2544 12
29696 3730 12
24576 3017 12
25088 3063 12
20992 2664 12
25600 3257 12
26112 3339 12
26112 3363 12
24064 3115 12
24576 2996 12
29184 3611 12
25600 3262 12
26112 3140 12
24064 3008 12
36352 4386 12
20992 2678 12
24576 3146 12
24576 3146 12
36352 4582 12
24064 3073 12
39424 4904 12
39936 5025 12
25088 3248 12
20992 2642 12
26112 3347 12
32256 4113 12
31232 3858 12
30720 4047 13
25088 3289 13
22528 3061 13
29184 3881 13
29184 3923 13
21504 3007 13
24064 3162 13
24576 3361 13
20992 2877 13
24064 3250 13
27648 3807 13
24064 3147 13
19968 2772 13
25600 3531 13
24064 3170 13
20480 2739 13
25600 3395 13
20480 2710 13
130560 18130 13
25600 3462 13
20992 2765 13
25088 3263 13
20992 2834 13
24064 3178 13
37888 5018 13
29184 4061 13
20480 2717 13
20992 2881 13
20992 2743 13
24064 3144 13
24064 3249 13
24576 3245 13
20480 2817 13
25088 3343 13
24064 3233 13
26624 3655 13
20480 2766 13
25088 3402 13
24576 3207 13
19968 2761 13
20480 2701 13
19968 2637 13
37376 4929 13
25088 3267 13
24576 3273 13
24064 3253 13
20480 2664 13
20992 2745 13
32768 4504 13
25600 3356 13
24576 3249 13
24576 3360 13
25088 3502 13
20480 2664 13
24064 3191 13
37888 5019 13
20480 2843 13
25088 3282 13
20480 2748 13
28672 3839 13
28672 3964 13
34304 4621 13
26624 3588 13
25600 3506 13
24064 3306 13
26112 3562 13
34304 4497 13
24576 3249 13
20480 2736 13
26112 3602 13
26624 3503 13
25600 3419 13
25088 3385 13
24576 3368 13
19456 2577 13
25600 3414 13
24576 3248 13
24064 3175 13
24576 3248 13
21504 2832 13
27136 3931 14
26112 3820 14
25600 3763 14
22528 3375 14
27136 3858 14
34304 4864 14
25600 3591 14
34816 5207 14
24576 3517 14
34816 5207 14
32768 4833 14
19968 2839 14
26112 3759 14
20992 3113 14
25088 3585 14
25088 3629 14
30208 4425 14
31744 4558 14
26112 3742 14
22016 3149 14
25088 3582 14
28672 4126 14
20480 2901 14
20480 2994 14
22016 3083 14
33792 4950 14
33792 4950 14
29184 4228 14
33792 5060 14
30720 4504 14
29184 4189 14
20480 2997 14
27136 4009 14
20480 2964 14
20480 2900 14
20480 2997 14
20992 3049 14
37376 5459 14
20992 2940 14
25088 3576 14
28672 4126 14
25600 3753 14
25088 3675 14
25600 3786 14
39424 5534 14
26624 3733 14
20992 2958 14
22016 3207 14
27648 3899 14
28672 4123 14
26112 3700 14
27136 3809 14
20992 3059 14
28160 4018 14
20992 3354 15
22016 3349 15
20992 3354 15
28160 4355 15
22016 3521 15
24576 3703 15
22016 3521 15
27648 4300 15
22016 3485 15
35328 5524 15
26112 4001 15
26112 4001 15
26112 4001 15
20992 3297 15
20992 3286 15
28160 4312 15
44544 6809 15
36864 5892 15
24576 3703 15
27648 4212 15
189440 28432 15
28672 4348 15
29184 4584 15
26624 4249 15
55296 8528 15
27136 4164 15
21504 3331 15
31744 4795 15
29184 4584 15
25600 4012 15
37888 5772 15
46592 7151 15
28160 4387 15
31232 4856 15
36864 5546 15
26624 4232 15
24576 3763 15
26624 4098 15
20992 3259 15
31232 4842 15
35328 5581 15
22016 3441 15
21504 3275 15
21504 3272 15
26624 4211 15
30720 4766 15
28160 4296 15
26624 4153 15
45568 7112 15
57344 9119 15
33280 5069 15
28160 4303 15
46592 7151 15
41984 6864 16
27648 4477 16
58368 9531 16
30720 5173 16
31232 5249 16
51712 8733 16
30208 5067 16
24064 4043 16
26112 4201 16
31744 5390 16
26112 4234 16
30208 5097 16
70144 11258 16
22528 3818 16
21504 3482 16
23040 3692 16
149504 25287 16
50176 8165 16
28160 4572 16
60928 10196 16
21504 3645 16
102912 16624 16
30720 5082 16
37888 6393 16
23040 3709 16
39424 6688 16
27136 4397 16
53248 8836 16
94720 16000 16
31744 5105 16
27648 4690 16
33280 5483 16
31744 5390 16
27648 4690 16
36352 6029 16
19968 3359 16
32256 5329 16
25600 4147 16
28672 4688 16
31744 5105 16
149504 25287 16
29184 4777 16
53248 8646 16
26112 4256 16
31744 5474 17
23040 4066 17
29184 5211 17
39936 6935 17
11264 1937 17
54784 9378 17
22016 3951 17
60416 10702 17
30720 5356 17
29184 5042 17
27136 4827 17
29696 5305 17
34816 6207 17
19456 3340 17
46080 8067 17
32256 5675 17
30720 5393 17
39424 6810 17
25600 4526 17
38912 6747 17
26624 4601 17
11264 1991 17
21504 3679 17
50176 8656 17
21504 3679 17
33792 5776 17
22016 3937 17
28672 4876 17
29696 5076 17
37888 6793 17
34304 6132 17
29184 5042 17
25600 4526 17
37888 6645 17
45056 7818 17
37888 6619 17
28672 4876 17
31232 5401 17
32256 5624 17
21504 3781 17
34304 6031 17
21504 3781 17
32768 5884 17
32768 5595 17
31744 5474 17
38400 6854 17
27648 4704 17
38400 6854 17
33792 6002 17
25088 4282 17
33792 5816 17
38400 6854 17
28672 5013 17
25600 4526 17
23040 4136 17
27648 5100 18
42496 7771 18
88064 16611 18
32256 5826 18
38400 7057 18
26624 4908 18
366592 68824 18
29696 5599 18
33792 6167 18
60416 10908 18
29184 5414 18
32256 5907 18
35328 6622 18
29696 5498 18
22016 4074 18
24576 4512 18
104960 19002 18
22016 4074 18
32256 5820 18
24576 4556 18
51200 9654 18
42496 8025 18
58368 10641 18
34304 6205 18
37376 6880 18
37376 6880 18
59904 10854 18
23552 4282 18
44032 8093 18
32256 5845 18
32256 5820 18
31744 5754 18
43520 7890 18
32256 5912 18
32256 5840 18
30208 5440 18
31744 5902 18
32768 6060 18
38400 7176 18
33280 6181 18
33280 6191 18
34816 6571 18
28160 5138 18
32256 5900 18
32256 6032 18
33280 6152 18
25600 4662 18
33280 6180 18
36864 6877 18
32768 6029 18
22528 4242 18
36864 7109 19
29184 5585 19
31744 6075 19
33280 6632 19
24576 4843 19
37376 7378 19
37376 7378 19
23040 4541 19
30720 6071 19
35840 6876 19
24064 4599 19
39936 7701 19
21504 4137 19
30720 5929 19
38400 7590 19
29696 5696 19
79360 15287 19
24576 4800 19
27648 5386 19
35328 6721 19
36352 6939 19
29696 5834 19
23552 4639 19
34816 7019 20
39424 8219 20
41984 8652 20
19456 3946 20
44544 9281 20
39936 8235 20
28160 5881 20
30720 6255 20
24576 4960 20
37888 7874 20
32256 6642 20
35328 7074 20
25088 5180 20
29184 5910 20
57856 11708 20
24576 5104 20
26624 5347 20
36352 7307 20
45568 9461 20
30720 6503 21
23552 5138 21
54784 11651 21
26112 5660 21
68096 14608 21
25088 5322 21
23552 4983 21
54784 11651 21
41472 8778 21
36352 7700 21
54272 11484 21
165888 37843 22
47104 10410 22
25088 5620 22
42496 9610 22
28160 6472 22
51712 11561 22
27648 6306 22
38912 8924 22
50688 11182 22
77824 17801 22
28160 6434 22
42496 9539 22
24064 5487 22
46080 10688 23
28672 6630 23
75776 18104 23
31744 7352 23
28160 6582 23
47616 11002 23
123904 29741 24
25600 6344 24
24064 5884 24
10667 2582 24
22016 5385 24
202752 48874 24
24064 5969 24
154112 39264 25
93696 24327 25
28672 7402 25
24576 6201 25
76800 19232 25
92160 23829 25
61440 15963 25
60416 15670 25
28160 7095 25
32768 8297 25
34816 8925 25
94208 23963 25
54784 14134 25
43008 11047 25
30208 7622 25
60928 15823 25
72192 18381 25
24576 6146 25
24064 6246 25
156672 42179 26
26112 6840 26
113664 29607 26
185344 49038 26
26112 6899 26
113664 30455 26
129024 34785 26
24064 6496 26
24064 6496 26
80384 20978 26
30720 8275 26
47104 12358 26
123904 34678 27
25088 6807 27
25088 6807 27
44032 11962 27
19456 5257 27
135680 36875 27
9661 2754 28
64000 18435 28
25088 7119 28
115712 33219 28
46592 13556 29
211968 61608 29
25088 7754 30
26624 8068 30
25088 7762 30
34304 10591 30
35328 11213 31
30208 9471 31
30720 9600 31
26112 8183 31
30208 9827 32
8726 2859 32
34304 11039 32
7123 2342 32
7053 2328 33
27136 9201 33
32768 11117 33
29696 9991 33
26112 8740 33
33280 11078 33
6276 2179 34
29696 10357 34
6043 2106 34
32768 11404 34
28160 9739 34
30720 10462 34
30720 10500 34
28160 9726 34
31232 10815 34
27648 9532 34
27648 9764 35
41984 14744 35
41984 14744 35
102912 36280 35
33280 11980 35
1153024 425355 36
5271 1910 36
39424 14269 36
27648 10204 36
28672 10454 36
28672 10534 36
32256 11861 36
32256 11861 36
38912 14173 36
28672 10506 36
27136 10073 37
27136 10073 37
32768 12241 37
30720 11489 37
29184 10938 37
54272 21077 38
54272 21077 38
54272 21077 38
29184 11211 38
26624 10191 38
30208 11698 38
54272 21077 38
42496 16248 38
30208 11968 39
100352 39982 39
34304 13678 39
230400 91520 39
43520 17482 40
78848 31832 40
34816 14079 40
37376 15102 40
108032 44005 40
57572 23130 40
34304 13838 40
30208 12117 40
30720 12680 41
32768 13704 41
35328 14506 41
467456 198001 42
32768 13988 42
32768 13974 42
32768 13988 42
36352 15382 42
35328 14967 42
19456 8198 42
19456 8198 42
30720 13317 43
31744 13943 43
32768 14408 43
32768 14408 43
32768 14263 43
56320 24715 43
43008 18922 43
32768 14182 43
50176 22513 44
32256 14459 44
36352 16057 44
33792 14922 44
38400 17011 44
33792 14971 44
33792 14922 44
51712 23762 45
35840 16175 45
38400 17478 45
45056 20959 46
40448 18961 46
40448 18961 46
37888 17642 46
38912 18232 46
37376 17373 46
37376 17350 46
44544 20778 46
42496 20393 47
40960 19645 47
34816 16392 47
1082880 523817 48
39936 19336 48
34816 16952 48
28672 13788 48
39936 19425 48
37376 18062 48
35328 17158 48
45056 21733 48
53760 26664 49
62464 31172 49
55808 27907 50
36352 18279 50
35840 18319 51
74752 38214 51
37888 19649 51
49152 25273 51
239104 125407 52
23552 12271 52
82944 43771 52
42496 22669 53
44032 23375 53
41472 22362 53
37888 20254 53
131584 72354 54
79872 43739 54
38400 20847 54
60928 33001 54
1120768 620569 55
40960 22861 55
107008 59498 55
66048 36402 55
43520 24693 56
172032 97948 56
68608 38568 56
172032 97948 56
71168 40765 57
186368 107320 57
50176 29165 58
212992 124613 58
50176 29165 58
52736 30795 58
43008 25245 58
45568 27230 59
56320 33554 59
56320 33641 59
254464 150747 59
254464 150651 59
53248 31466 59
54272 32659 60
47616 28863 60
51200 31451 61
55808 34208 61
60928 37221 61
49152 30644 62
47616 29757 62
68096 42265 62
56320 35484 63
60928 39176 64
19968 12786 64
55296 35449 64
52224 33509 64
54272 35640 65
62464 40711 65
62464 40711 65
72192 47632 65
112128 75116 66
53248 35269 66
19456 12891 66
59904 39914 66
19456 12891 66
61952 41911 67
64000 43167 67
54272 37284 68
70656 48173 68
54272 37312 68
71168 48677 68
90112 61868 68
177664 122784 69
99328 68741 69
62464 43262 69
23552 16676 70
173056 124460 71
71168 50998 71
164864 117091 71
114176 82013 71
69632 49670 71
77824 55880 71
92160 66587 72
77312 55825 72
73216 53773 73
91648 67309 73
290304 213711 73
91136 67213 73
77824 57009 73
1665536 1239779 74
79872 59608 74
66048 49054 74
92672 68911 74
88576 66006 74
79872 59608 74
87040 64482 74
79872 59608 74
89088 66140 74
86016 64924 75
173056 132890 76
89600 68417 76
108032 83039 76
77824 59856 76
92160 70485 76
120832 92333 76
218112 167501 76
79360 60643 76
108032 83039 76
83456 64916 77
83456 64916 77
104448 81306 77
83968 64726 77
107008 83865 78
2805760 2210269 78
90112 70444 78
495616 393435 79
139264 110668 79
102400 81329 79
139264 110668 79
495616 393435 79
199168 161124 80
134144 108877 81
113664 92722 81
141824 115537 81
104960 85020 81
99840 81565 81
163328 133149 81
134656 109177 81
163328 133149 81
195584 161018 82
99328 81483 82
244736 202268 82
99328 81483 82
143360 117824 82
50688 42071 82
119296 99171 83
122368 102427 83
253952 211196 83
103424 87248 84
5694464 4796521 84
135680 114365 84
1191424 1013692 85
131584 112016 85
142848 121731 85
131072 113079 86
126464 109193 86
138240 119498 86
192000 165229 86
142336 124770 87
184320 161239 87
1304576 1160795 88
196608 173156 88
147968 130734 88
229888 205664 89
230912 205917 89
482304 430566 89
1289728 1158813 89
194560 175141 90
233472 211127 90
1848832 1700726 91
420864 385430 91
401920 371404 92
130560 120606 92
465408 430829 92
290304 267720 92
372224 348975 93
440832 410360 93
328192 307183 93
644096 600588 93
836608 782950 93
579584 543724 93
175104 166341 94
394752 372547 94
385024 364024 94
450560 426508 94
441856 417577 94
401408 379445 94
431104 408951 94
552960 521281 94
457728 431771 94
379904 357643 94
411648 389539 94
911872 871468 95
464384 441693 95
541696 518470 95
968192 925294 95
1101824 1049832 95
14353920 13723382 95
741888 716025 96
1363968 1322714 96
523264 503551 96
559104 539540 96
1548800 1500084 96
1444352 1392294 96
701440 673517 96
3530752 3391320 96
1048064 1013848 96
785408 754592 96
878592 844709 96
1462272 1405006 96
1076736 1038538 96
1288192 1241307 96
697856 673986 96
1049088 1024066 97
1049088 1024066 97
1362432 1321976 97
1507840 1470817 97
1362432 1321976 97
992768 969142 97
1948672 1919767 98
1960448 1931791 98
1846784 1812015 98
4998144 4951253 99
5207040 5160107 99
3240960 3219262 99
9 17 188
9 17 188




--

Jim Starkey
Netfrastructure, Inc.
978 526-1376



[Non-text portions of this message have been removed]