تکنولوژی ویدیو‌های جدید که پرده از خصوصیات مخفی اشیاء برمیدارد
متن سخنرانی :
بیشتر ما فکر میکنیم که حرکتیک موضوع بصری است. اگر من روی سن، راه برم و دستم را هنگام صحبت تکان بدم. شما حرکت آن را میبینید. اما حرکت‌های بسیار ظریفی وجود دارد که برای چشم انسان بسیار ناچیزند، طی چند سال قبل، ما دوربین‌هایی پیدا کردیم که این حرکات را میبیندحتی اگر انسان نتواند آن را ببیند.بگذارید نشان بدهم که منظورم چیست. سمت چپ، فیلم مچ دست یک انسان را میبینید، و سمت راست، فیلم نوزادی را که خوابیده است، اما اگر به شما نگفته بودم که اینها ویدیوهستند، فکر میکردید که،به دو عکس معمولی نگاه میکنید، چون در هر دو مورد، آنها کاملا بیحرکت بنظر میرسند. اما در حقیقت حرکت های ظریف بسیاری وجود دارند، اگر میخواستید مچ سمت چپ را لمس کنید، نبض آن را حس میکردید، و اگر در سمت راست، نوزاد را بغل کنید، بالا پایین رفتن سینه اش را حس میکردید زمانی که در حال نفس کشیدن است. این حرکات اهمیت بسیاری دارند، هرچند که برای دیدن ما خیلی ریزند. بنابراین باید آن ها را زیر نظر گرفت با تماس مستقیم، با لمس کردن.
اما چند سال پیش، همکارانم دردانشگاه ام آی تی،یک میکروسکوپ برای حرکت ساختند، نرم افزاری است که این حرکات ریز را نشان میدهد و برای آن که قابل دیدن شوند،آنها را بزرگتر میکند و اگر در ویدیو سمت چپ، از نرم‌افزار آنها استفاده کنیم، نبض مچ دست را به ما نشان میدهد، و اگر بخواهیم نبض‌ها را بشماریم، حتی سرعت قلب فرد هم قابل اندازه گیری است. و اگر در ویدیو سمت راست، از همان نرم‌افزار استفاده کنیم، میتواند نفس‌هایی را کهنوزاد میکشد به ما نشان دهد، و ما میتوانیم از این وسیله ،جدا ازبدن، برای مشاهده نفس‌های او استفاده کنیم
این تکنولوژی کاملا قوی است،چون این پدیده‌ها را می یابد. که ما بصورت معمولی با لمس کردن تجربه میکنیم و به ما اجازه میدهد تا به صورت بصریو بدون نیاز به تاخت و تاز، آنها را ببینیم.
دو سال پیش، من با سازندهایاین نرم‌افزار شروع بکار کردم، تصمیم گرفتیم تا کار دیوانه‌واری را انجام دهیم . فکر میکردیم که استفاده از آن نرم افزار بسیار جالب است. برای دیدن حرکات کوچکی مثل این، میتوانید به آن به عنوان روشی برای تقویت حس لامسه نگاه کنید. حالا اگر با حس شنیداری اینکار را بکنیم چه میشود؟ اگر از آن برای گرفتن لرزش‌های صدا استفاده کنیم چه میشود، که تنها نوع دیگری از حرکت هستند. و هر چیزی را که میبینیمبه میکروفن تبدیل کنیم؟
این ایده عجیبی است، اجازه بدهید تا به شما یک چشم انداز بدم. میکروفون‌های قدیمی با تبدیل حرکت از یک دیافراگم داخلی به سیگنال‌های الکتریکی کار میکردند، و دیافگرام با صدا حرکت میکرد درنتیجه حرکت ضبط میشدو بصورت شنیداری پخش میشد اما صدا باعث حرکت همه چیز میشود. لرزش‌ها آنقدر کوچک وسریع هستندکه ما نمی توانیم آنها را ببینیم
حالا اگر با یک دوربین سرعت بالاآنها را ضبط کنیم چه خواهد شد و از نرم‌افزار برای استخراجحرکات ریز استفاده کنیم از همان ویدیوی سرعت بالا، و حرکات را تحلیل کنیم تا بفهمیم چه صداهایی آنها را ایجاد کرده اند؟ اینکار اجازه میدهد تا اشیاء دیدنی را به میکروفون‌های بصری تبدیل کنیم. پس این را امتحان کردیم، و این یکی از آزمایش‌های ماست، ما این گیاه گلدانی را گرفتیمکه در سمت راست میبینید و با دوربین سرعت بالا فیلمبرداری کردیم درحالیکه یک بلندگو نزدیک به آن، این صدا را پخش میکرد.
(موزیک: "ماری یه بره کوچک داشت")
و این، همان ودیوی ضبط شده است، و ما آن را با سرعت هزار فریم در ثانیه ضبط کردیم، اما اگر از خیلی نزدیک هم نگاه کنید، همه ی چیزی که شما میبینید، چند برگ کوچک است که اینجا هستند و هیچکاری نمیکنند چون صدای ما، برگ‌ها را فقط در حدود یک میکرومتر تکان میدهد. که یک هزارم سانتی‌متر است که جایی بین یک هزارم و یک صدم پهنا دارد از یک پیکسل در این عکس پس همه چیزی که میخواهید میتوانید با ریز کردن چشمتان ببینید، اما حرکتی به آن کوچکیبا چشم غیر قابل درک است اما بنظر میرسد چیزی که میتواند غیر قابل مشاهده باشد وهنوز از نظرعددی معنادار باشد، زیرا با الگوریتم صحیح، ما میتوانیم این ویدیو بنظربیحرکت و بیصدا را بگیریم و ما میتوانیم صدای آن را بازسازی کنیم.
(موزیک" " ماری یه بره کوچک داشت")
(تشویق)
پس، این چطور ممکن است؟ چطور ما میتوانیم تا این اندازه اطلاعات از یک حرکت کوچک بگیریم؟ بگذارید بگوییم که آن برگ‌ها فقط به اندازه یک میکرومتر حرکت میکنند، و آ ن در تصویر ما فقط به اندازه یک هزارم پیکسل جابجا میشود، که به نظر زیاد نمیاد، اما یک فریم ویدیو شاید صدها هزار پیکسل در خودش دارد، و اگر همه حرکات ریزی را که میبینیم،باهم ترکیب کنیم در کل تصویر بعد ناگهان یک هزارم پیکسل میتواند به چیزی معناداری تبدیل بشود.
در یادداشت شخصی، تقریبا افسون شده بودیم وقتی آن را محاسبه کردیم. (خنده) اما حتی با الگوریتم صحیح، ما یک تکه پازل مهم را از دست داده بودیم. میبینید، عوامل زیادی وجود دارندکه به "چه وقت" و "چقدر" اثر میگذارند این تکنیک کار خواهد کرد. شیئ هست و هر چقدر دور باشد: دوربین و لنزی که شما استفاده میکنید هم هست چقدر نور به اشیاء میتابدو صدا چقدر بلند است. و حتی با الگوریتم صحیح، باید در آزمایش اولیه خیلی دقیق باشیم چون اگردر عوامل موثر اشتباه میکردیم هیچ راهی وجود نداشت که بگوییممشکل از کجا بوده است. ما فقط صدا را برمیگرداندیم. و بسیاری از آزمایش‌های اولیه ما، مثل این بودند. و من اینجام و در سمت چب پایین، شما میتوانیددوربین سرعت بالای ما را ببینید که بسمت یک بسته چیپس است و همه چیز با این لامپ‌ها روشن شده است. و همینطور که گفتم، ما باید در در آزمایش اولیه‌مان خیلی دقت میکردیم بنابراین، کار به این صورت در آمد.
(ویدیو) آبه دیویس: سه، دو، یک، حرکت. ماری یه بره کوچک داشت! بره کوچک! بره کوچک!
(خنده)
آ د: این آزمایش کاملا مسخره به نظر میرسد. (خنده) منظورم این است که، من دارم روییک بسته چیپس داد میزنم. (خنده).. و با نور بسیار زیادی بسته را می ترکاندیم، ما بسته اولی را آب کردیم وبه امتحان ادامه دادیم.(خنده) هرچند به عنوان یک آزمایش، مسخره بنظر میرسد، در حقیقت خیلی مهم بود زیرا ما توانستیم صدا را بازسازی کنیم.
ماری یه بره کوچک داشت! بره کوچک! بره کوچک!
(تشویق)
آ د : و این خیلی مهم بود، چون اولین بار بود صدای انسان باهوش را بازسازی میکردیم از ویدیو بیصدای یک شیئ. و این نقطه اشتراک را به ما داد و به تدریج توانستیم آزمایش را اصلاح کنیم با استفاده از اشیا مختلف یا دورکردن اشیا، با استفاده از نور کمتر و صدای آرامتر. و تمام آزمایش‌ها را تجزیه تحلیل کردیم تا محدودیت روشمان را فهمیدیم چون وقتی آن محدودیت‌ها را فهمیدیم توانستیم بفهمیم چطور آن را جلو ببریم.
که منجر به آزمایشی مثل این شد، که من دوباره با بسته چیپس حرف خواهم زد، این بار دوربین را ۴/۵ متر دورتر برده ایم، در بیرون و در پشت یک شیشه ضد صدا و همه چیز فقط با نور خورشید طبیعی روشن شده است. و این، همان ویدیویی که گرفتیم است. و این چیزی است که از داخل،کنار بسته به گوش میرسد.
ماری که یک بره کوچک داشت که پشم آن مثل برف سفید بود، و هر جا که ماری میرفت، بره هم با او میرفت.
چیزی که ما توانستیم ازفیلم بیصدا بازسازی کنیم این است که بیرون، پشت آن شیشه گرفته شده.
ماری یک بره کوچک داشتکه پشم آن مانند برف سفید بود و هر جا که میرفت، بره هم با او میرفت.
(تشویق)
آ د: روش‌هایی هم هست که میتوانیم این محدودیت‌ها را برداریم. این آزمایش آرامتری است. که از هدفون‌هایی که به لپ تاپ وصل بودند فیلبرداری کردیم، در این مورد، هدف ما بازسازی موسیقی در حال پخش در لپ تاپ بود فقط از ویدیو بیصدای این دو هدفون پلاستیکی کوچک، و اینکار را خیلی خوب توانستیم انجام بدیم که حتی من توانستم نتیجه را شازام کنم. ( خنده )
(موسیقی: "تحت فشار" توسط کویین )
(تشویق)
و ما میتوانیم اشیاء را با تغییرسخت افزارهایمان هل بدیم. زیرا آزمایش‌هایی که من تا الان به شما نشان دادم با دوربین سرعت بالا بودند، که میتواند صد برابر سریعتر فیلمبرداری کنند از اکثر موبایل ها همچنین ما روشی را برای استفاده از این تکنیک پیدا کردیم، با دوربین های معمولی‌تر و با استفاده از چیزی که دیافراگمچرخان نام دارد این کا را انجام دادیم. میدانید، اکثر دوربین‌ها تصاویر را دریک ردیف در زمان ضبط میکنند، بنابراین اگر شیئ در طول فیلمبرداری یک تصویر حرکت کند یک تاخیر زمانی اندک، بین هر ردیف وجود دارد، و اندکی شبه تصویر میشود که در هر فریم ویدیو کد گذاری میشود و چیزی که فهمیدیم، با تحلیل این شبه تصاویر میتوانیم صداها را با استفاده از نسخهاصلاح شده الگوریتم بازسازی کنیم. در این آزمایشی که انجام دادیم از یک بسته شکلات فیلم گرفتیم درحالیکه یک بلندگو در نزدیک آن صدا پخش میکرد موسیقی"ماری یه بره داشت" از قبل اما این‌بار فقط از دوربینی که از مغازه خریده بودیم استفاده کردیم در یک ثانیه، صدایی که ضبط کردیم را برای شما پخش میکنم، این‌بار صدا خراب است، اما گوش کنید و ببینید آیا میتوانیدموسیقی رو تشخیص بدید.
(" ماری یه بره داشت")
دوباره صدا خرابه، جالب آن است که ماتوانستیم این کار را انجام بدهیم با وسیله ای که میتوانید از آن خسته بشوید در بست‌بای میخرید.
و در اینجا افراد زیادی کار را میبینند، و فورا در مورد زیر نظر گرفتن فکر میکنند. انصافا سخت نیست که تصور کنید چطور میتوان جاسوسی مردم را با این تکنولوژی کرد. اما به یاد بسپارید که هم اکنونتکنولوژی های پیشرفته ای وجود دارند برای تحت نظر گرفتن. در حقیقت مردم از لیزر استفاده می کرده‌اند تا مدت‌ها برای استراق سمع با اشیاء. اما چیزی که در اینجا جدید است، و واقعا متفاوت، این است که روش به تصویر کشیدن لرزش یک شیئ را داریم که به ما لنزهایی میدهد کهدنیا را با آنها نگاه کنیم، و میتوانیم آن لنز را استفاده کنیم تا نیروهایی مثل صدا که باعث لرزش اشیاء میشوند را بشناسیم، و همچنین در مورد خود شیئ.
میخواهم یک قدم به عقب برگردم فکر کنیم که چطور میتواند روش‌های استفاده از ویدیو را تغییر دهد، چون از ویدیو برای دیدناشیاء استفاده می کنیم، و من فقط نشان دادم که چگونهمیتوانیم از آن استفاده کنیم برای گوش دادن به اشیاء. اما روش مهم دیگریبرای شناختن دنیا وجود دارد: و آن تعامل با آنهاست. اشیاء را میکشیم، هل میدهیم، حرکت میدهیم و سیخونک میزنیم. ما آنها را تکان میدهیم و میبینیم که چه اتفاقی می‌افتد این چیزی است که هنوز ویدیو،اجازه انجام آن را به ما نمی دهد ، حداقل نه به روش سنتی بنابراین میخواهم چند کار جدید به شما نشان بدهم، و این، بر اساس ایده ای است کهچند ماه پیش داشتم این اولین بار است که آن را در معرض دید عموم قرار میدهم. و ایده اصلی این است که ما میخواهیم از لرزش‌هادر ویدیو استفاده کنیم تا اشیائی را فیلم بگیریم که اجازه میدهند با آنها تعامل کنیم و ببینیم آنها چگونه به ما پاسخ میدهند.
این یک شیئ است، و در این مورد، این یک پیکره سیمی به شکل انسان است از آن شیئ، فقط با دوربین معمولیفیلم خواهیم گرفت. پس چیز خاصی درمورد این دوربین نیست درحقیقت قبل از این، با موبایلماین کار را انجام داده بودم اما میخواهیم ببینیم که شیئ میلرزد، برای اتفاق چنین چیزی یک ضربه کوچک به سطح آن خواهیم زد در حالیکه فیلم میگیریم.
درسته: فقط ۵ ثانیه از فیلم برداری معمولی، وقتی به سطح ضربه میزنیم و میخواهیم از ضربه‌ها در آن ویدیو استفاده کنیم تا خصوصیات ساختاریو موادی شیئ مان را بشناسیم و ما از آن اطلاعات برای ساختن چیزی جدید و دارای کنش واکنش استفاده میکنیم. و این همان چیزی است که ساختیم مثل یک تصویر معمولی اما این تصویر نیست، و ویدیو هم نیست، چون من میتوانم الان موس را بگیرم و با آن شیئ تعامل کنم و چیزی که شما اینجا میبینید یک شبیه سازیست از اینکه چگونه این شیئ به نیروهای جدید پاسخ خواهد داد که قبلا هرگز ندیده ایم، و ما آن را فقط از ۵ ثانیه ویدیومعمولی تهیه کردیم.
(تشویق)
و این واقعا یک روش قوی برای نگاه به دنیاست چون به ما اجازه میدهد که چگونگی پاسخ به اشیاء را پیش بینی کنیم به وضعیت های جدید برا ی مثال میتوانید نگاه به یک پل قدیمی را تصور کنید چه اتفاقی خواهد افتادیا چگونه پل تحمل میکند اگر میخواستم روی پل رانندگی کنم. و این سوالی است که شاید بخواهید پاسخ بدهید قبل از رانندگی بر روی پل. البته محدودیت‌هایی برایاین تکنیک وجود خواهد داشت مانند محدودیت‌هایی که برای میکروفون‌های بصری بودند اما فهمیدیم در وموقعیت‌های بسیاری کاربردی است که انتظارش را ندارید، مخصوصا اگر فیلم‌های طولانی تر به آن بدید
پس برای مثال این فیلمی است که من گرفتم از یک بوته بیرون آپارتمانم هیچ کاری با این بوته نکردم اما با گرفتن یک دقیقه فیلم بیشتر یک نسیم ملایم باعث لرزش کافی شد که به اندازه کافی شناخت درباره بوته میدهد تا شبیه سازی آن ساخته بشود (تشویق) میتوانید تصور کنید کهاین را به یک کارگردان بدهیم و به او اجاره کنترل آن را بدهیم مثلا، قدرت و جهت باد در یک قسمت فیلم، بعد اینکه ضبط شد. در اینجا ما دوربین را بطرفیک پرده آویزان گرفتیم شما هیچ حرکتی نمیبینید اما با ضبط یک فیلم دو دقیقه‌ای جریان طبیعی باد در اتاق به اندازه کافی حرکات ولرزش‌های جزیی و کم ایجاد کرده که به ما اطلاعات کافیبرای این شبیه‌سازی میدهد
و استعارا ما عادت داریم به این کنش و واکنش‌ها وقتی موضوع اشیاء غیرواقعی به میان میآید مبحث بازی‌های کامپیوتری و مدل‌های سه بعدی، اما برای گرفتن اطلاعاتاز اشیاء واقعی در دنیای واقعی استفاده از ویدیوی معمولی و ساده چیز جدیدی است که پتانسیل‌های فراوانی دارد.
اینها افراد قوق العاده‌ای هستندکه در این پروژه با من همکاری کردند. (تشویق)
چیزی که امروز به شما نشان دادم فقط یک شروع است ما فقط کاری را شروع کردیم از چیزی که شما با این نوعتصویربرداری میتوانید انجام بدهید چون به ما روش جدیدی ارایه میدهد که از اطراف خود با تکنولوژیدرسترس و معمولی فیلم بگیریم. و به آینده نگاه کنیم، خیلی هیجان انگیز خواهد بود که جستجو کنیم جیزی را که به ما درباره دنیا میتواند بگوید.
ممنونم
(تشویق)
