Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
Программирование. Ступени успешной карьеры. Авторы: Кузнецов М.В., Симдянов И.В. Объектно-ориентированное программирование на PHP. Авторы: Кузнецов М.В., Симдянов И.В. Самоучитель PHP 5 / 6 (3 издание). Авторы: Кузнецов М.В., Симдянов И.В. C++. Мастер-класс в задачах и примерах. Авторы: Кузнецов М.В., Симдянов И.В. Самоучитель MySQL 5. Авторы: Кузнецов М.В., Симдянов И.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Разное

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум Структурный форум

тема: Скрипты из cp1251 в utf
 
 автор: Лена   (17.12.2010 в 17:35)   письмо автору
 
 

Кажется мне, что тема уже такая была... В поиске покопалась, найти не смогла.
Надо переконвертировать файлы из cp1251 в utf8. Файлы - скрипты, весь движок весит 6 Мб.
Идея пока - написать маленький скрипт, который рекурсивно пройдется по каталогам и через iconv($codein, $codeout, file_get_contents(файл) ) все переконвертирует. Только справится ли он с 6 Мб...

  Ответить  
 
 автор: Владимир55   (17.12.2010 в 21:04)   письмо автору
 
   для: Лена   (17.12.2010 в 17:35)
 

Неоднократно встречался с ситуацией, когда iconv работал некорректно, если ему подсовывася весь скрипт целиком или какой-то некирилический текст. Перекодировка таблицей с этим справлялась.

Шесть мб - много. Я бы сделал карту и обрабатывал бы частями. А потом обязательно проверить.

=====================
Что-то мне подсказывает, что такая прямолинейная перекодировка движка не даст желаемого результата.

  Ответить  
 
 автор: Trianon   (17.12.2010 в 21:09)   письмо автору
 
   для: Владимир55   (17.12.2010 в 21:04)
 

6 мб - это весь движок - размер, который нигде не фигурирует.
Хотя file_get_contents() - зло так или иначе, но для разового запуска, я может тоже не постеснялся бы..

  Ответить  
 
 автор: Владимир55   (17.12.2010 в 23:03)   письмо автору
 
   для: Trianon   (17.12.2010 в 21:09)
 

Я предположил, что в 6 мб. наверяка содержится много файлов, ведь движковые файлы обычно короткие. У меня скрипт с рекурсивным удалением файлов во вложенных директориях почему-то не очищает папку полностью, если там тысячи файлов. Просто останавливается и все (не вследствие истечения предельного времени работы). Надо запускать много-много раз для полной очистки.

Вероятно, и с перекодировкой может быть что-то подобное.

  Ответить  
 
 автор: Trianon   (17.12.2010 в 23:41)   письмо автору
 
   для: Владимир55   (17.12.2010 в 23:03)
 

казалось бы - сотри неотлаженную программу, если надоела, либо отладь до конца, уж коль скоро пользуешься ею... ан нет...

Вы же понимаете, что такое поведение скрипта, это не особенность устройства файловой организации, а алгоритмическая недоработка.
И при том экстраполируете его на еще ненаписанную программу.

[здесьсмайлик - пожалплечами]

  Ответить  
 
 автор: Владимир55   (17.12.2010 в 23:48)   письмо автору
 
   для: Trianon   (17.12.2010 в 23:41)
 

А чего там отлаживать? Она исправна - относительно небольшое количество файлов удаляет даже при глубоком вложении. Я взял её с этого форума как готовый продукт.

================

Ясное дело, что так быть не должно. Спросил Хеопса - тот же смайлик, что и у Вас.

  Ответить  
 
 автор: Trianon   (17.12.2010 в 23:55)   письмо автору
 
   для: Владимир55   (17.12.2010 в 23:48)
 

я Вам только один единственный момент шепну - с которым сам сегодня столкнулся.
Имена файлов хранятся в unicode-пространстве практически на любой уважающей себя файловой системе.
а php работает с хм.. местной локалью. Извините за тавтологию.




PS. А где Вы так оперативно откопали Cheops'а?

  Ответить  
 
 автор: Владимир55   (18.12.2010 в 00:00)   письмо автору
 
   для: Trianon   (17.12.2010 в 23:55)
 

PS - Это давно было.

  Ответить  
 
 автор: Лена   (18.12.2010 в 21:50)   письмо автору
 
   для: Trianon   (17.12.2010 в 21:09)
 

>Хотя file_get_contents() - зло

Почему?

Как и собиралась, переконвертировала через скрипт:

<?php
set_time_limit
(0);

  
$codein="windows-1251";//исходная кодировка
  
$codeout="UTF-8";//кодировка, в которую надо конвертировать.

 
if(!file_exists("output"))     //конвертируем в папку output
          
mkdir("output"0777);

 
$dir__ "uploads"//то, что конвертируем

  
scan_dir_convert($dir__$codein$codeout);


  function 
scan_dir_convert($dirname$codein$codeout){

  if(
file_exists($dirname))
       
$dir opendir($dirname);

   while ((
$file readdir($dir)) !== false){

       if(
$file != "." && $file != ".."){
           
chmod($dirname."/".$file0777);

     if(
is_dir($dirname."/".$file)){
         
//print $dirname."/".$file . "<br>";
         
mkdir("output/".$dirname."/".$file0777);
      
scan_dir_convert($dirname."/".$file$codein$codeout);
     }

     if(
is_file($dirname."/".$file)){
         
//print "<b>" . $dirname."/".$file . "</b><br>";

     
if(!file_exists("output/".$dirname))
             
mkdir("output/".$dirname0777);

      
$text=iconv($codein$codeoutfile_get_contents($dirname."/".$file));

      
$f=fopen("output/" $dirname "/" $file"w");
      
fwrite($f$text);
      
fclose($f);
     }
    }
   }
   
closedir($dir);
  }

?>


Недостатки скрипта:
1. Весь движок не тянет, разбивала частями(отдельными каталогами)
2. Портятся картинки, наверное, надо ставить какую-то проверку на расширение файла(jpeg,gif и т.д.) перед конвертированием и файлы картинок не трогать.
Так как картинки у меня все в одной папке темы лежали, то я их просто заменила.

  Ответить  
 
 автор: Trianon   (18.12.2010 в 23:14)   письмо автору
 
   для: Лена   (18.12.2010 в 21:50)
 

Потому что файлы имеют право быть большими.

  Ответить  
 
 автор: sim5   (17.12.2010 в 22:00)   письмо автору
 
   для: Лена   (17.12.2010 в 17:35)
 

<html> 
<head>
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<HTA:APPLICATION ID="oMyApp" APPLICATIONNAME="cnv" />
</head>
<body>
<script>
var fso = new ActiveXObject("Scripting.FileSystemObject");
var f = fso.OpenTextFile('script.php');
var s = f.ReadAll();
f = fso.OpenTextFile('script-8.php', 2, true, -1)
f.WriteLine(s);   
f.Close();
</script>
</body>
</html>

  Ответить  
 
 автор: Bvz   (18.12.2010 в 09:36)   письмо автору
 
   для: Лена   (17.12.2010 в 17:35)
 

для этого есть такая утилитка http://irbis-team.com/15/22

  Ответить  
 
 автор: Trianon   (18.12.2010 в 10:13)   письмо автору
 
   для: Bvz   (18.12.2010 в 09:36)
 

сейчас насоветуете...

  Ответить  
 
 автор: блогер   (23.12.2010 в 12:03)   письмо автору
 
   для: Лена   (17.12.2010 в 17:35)
 

А куда он денется? Справится безусловно. JPG и иные бинарные
файлы у тебя покорёжены потому, что надо было применить
перекодировку только для файлов с нужным расширением. Вместо
extension подставишь своё расширение. И твои волосы станут
мягкими и шелковистыми.

for f in $(find ./ -type f -name "*.extension"); do
echo "Обработка $f";
iconv -c -f cp1251 -t utf-8 < $f > $f.tmp;
echo "Код завершения: $?"
mv $f.tmp $f;
done

  Ответить  
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования